RT-2: 웹 지식이 로봇 행동으로 전이되는 VLA 개념

1. 논문 정보

• 논문명: RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
• 저자: Brianna Zitkovich, Tianhe Yu, Anthony Brohan et al.
• 소속: Google DeepMind
• 공개: 2023년 7월 arXiv 공개, CoRL 2023 발표
• 분야: Robotics, Vision-Language-Action, Robot Learning, Foundation Model, Imitation Learning
• 키워드: RT-2, VLA, Vision-Language-Action, Web-scale Pretraining, Robotic Control, Generalization

2. 한 줄 요약

 

RT-2는 웹 규모 데이터로 학습된 Vision-Language Model의 시각·언어 지식을 로봇 제어에 직접 연결하기 위해, 로봇 행동을 텍스트 토큰처럼 표현하고 이를 예측하도록 학습한 Vision-Language-Action 모델이다.

 

조금 더 풀어서 말하면, 기존 Vision-Language Model이 “이미지 속 물체가 무엇인지”, “문장의 의미가 무엇인지”, “사물 간 관계가 무엇인지”를 이해하는 데 강했다면, RT-2는 이러한 이해를 바탕으로 로봇이 실제로 어떤 행동을 해야 하는지까지 출력하도록 만든 모델이다.

 

예를 들어 사람이 “피곤한 사람에게 어울리는 음료를 집어라”라고 명령하면, 모델은 단순히 물체 이름을 매칭하는 것이 아니라 “피곤함 → 에너지 음료”와 같은 웹 지식 기반 의미 추론을 수행하고, 그 결과를 로봇 action token으로 변환해 실제 로봇 제어에 사용한다.

 

3. 왜 이 논문을 읽었는가?

RT-1이 로봇 제어를 Transformer 기반 sequence modeling 문제로 바라봤다면, RT-2는 여기서 한 단계 더 나아가 웹 규모 Vision-Language Model의 지식을 로봇 행동으로 전이하려는 시도이다.

최근 로봇 분야에서는 단순히 “정해진 물체를 집는다” 수준을 넘어, 사람이 자연어로 애매하거나 추상적인 명령을 내려도 환경을 이해하고 적절한 행동을 선택하는 범용 로봇 정책 모델에 대한 관심이 커지고 있다.

하지만 로봇은 언어 모델이나 비전 모델처럼 인터넷에서 무한히 데이터를 수집하기 어렵다. 실제 로봇 데이터는 수집 비용이 크고, 하드웨어 제약도 있으며, 환경 변화나 안전 문제도 고려해야 한다. 따라서 로봇이 세상의 다양한 개념을 모두 직접 경험해서 배우는 방식은 현실적으로 한계가 있다.

RT-2는 이 문제에 대해 다음과 같은 질문을 던진다.

“이미 웹 데이터로 학습된 Vision-Language Model의 지식을 로봇 제어에 직접 활용할 수 있을까?”

이 질문은 이후 VLA, Open X-Embodiment, Octo, 로봇 파운데이션 모델 흐름을 이해하는 데 매우 중요한 출발점이 된다.

 

4. 기존 로봇 학습 방식의 한계

기존 로봇 학습은 대부분 로봇이 직접 수행한 demonstration 데이터에 크게 의존한다. 예를 들어 “컵 집기”, “서랍 열기”, “물체를 다른 위치로 옮기기” 같은 작업을 사람이 로봇에게 보여주고, 모델은 그 데이터를 imitation learning 방식으로 학습한다.

이 방식은 학습 데이터 안에 포함된 작업에서는 좋은 성능을 낼 수 있다. 하지만 학습 데이터에 없던 물체, 배경, 장소, 명령 표현이 등장하면 일반화가 어렵다.

예를 들어 로봇이 “사과를 집어라”는 작업을 학습했다고 해서, 곧바로 “가장 작은 물체를 집어라”, “하트 모양 위에 캔을 올려라”, “피곤한 사람에게 필요한 음료를 집어라” 같은 명령을 이해할 수 있는 것은 아니다. 이런 명령에는 물체 인식뿐 아니라 상징 이해, 관계 이해, 상식 추론이 필요하다.

기존 방식의 또 다른 한계는 고수준 추론과 저수준 제어가 분리되어 있다는 점이다. LLM이나 VLM을 로봇에 붙이는 이전 접근들은 대체로 “무엇을 해야 하는지”를 계획하는 역할에 머물렀고, 실제 로봇 팔을 움직이는 저수준 제어는 별도의 controller가 담당했다.

즉, 웹 지식을 가진 모델과 실제 로봇 행동을 수행하는 모델이 분리되어 있었기 때문에, 웹 지식이 로봇의 low-level action prediction까지 직접 반영되기는 어려웠다.

 

5. RT-2의 핵심 아이디어

RT-2의 핵심은 로봇 행동을 언어처럼 다루는 것이다.

일반적인 Vision-Language Model은 이미지와 텍스트를 입력받고, 그에 대한 답변을 텍스트 토큰으로 출력한다. RT-2는 여기서 출력 텍스트 자리에 로봇 action을 넣는다.

즉, 로봇의 행동을 다음과 같은 숫자 토큰 시퀀스로 표현한다.

 

카메라 이미지 + 자연어 명령
→ Vision-Language Model
→ Action token sequence
→ 로봇 제어 명령

 

여기서 action은 로봇 end-effector의 위치 이동, 회전, gripper 제어, episode 종료 여부 등을 포함한다. 연속적인 로봇 제어값은 일정한 bin으로 이산화되고, 이 값들이 텍스트 토큰처럼 모델의 출력 vocabulary 안에서 예측된다.

이 방식의 장점은 Vision-Language Model의 구조를 크게 바꾸지 않고도 로봇 제어를 학습시킬 수 있다는 점이다. 기존 VLM이 자연어 답변을 출력하던 방식 그대로, RT-2는 로봇 행동을 출력하도록 fine-tuning된다.

논문에서는 이런 모델을 Vision-Language-Action, 즉 VLA 모델이라고 부른다.

VLA의 의미는 다음과 같이 정리할 수 있다.

Vision: 로봇 카메라 이미지로 현재 환경을 본다.
Language: 사람이 준 자연어 명령을 이해한다.
Action: 이해한 내용을 실제 로봇 행동 토큰으로 출력한다.

 

즉, RT-2는 “보는 모델”이나 “말하는 모델”에 그치지 않고, “보고 이해한 뒤 행동하는 모델”을 목표로 한다.

 

6. RT-2 아키텍처 개요

RT-2는 완전히 새로운 모델을 처음부터 만든 것이 아니라, 이미 웹 규모 데이터로 학습된 대형 Vision-Language Model을 로봇 제어용으로 변환한 것이다.

논문에서는 두 가지 주요 backbone을 사용한다.

• RT-2-PaLI-X: PaLI-X 기반 모델
• RT-2-PaLM-E: PaLM-E 기반 모델

전체 흐름은 다음과 같다.

로봇 카메라 이미지
→ 자연어 명령
→ 사전학습된 Vision-Language Model
→ 로봇 action을 나타내는 텍스트 토큰 출력
→ action token을 실제 로봇 제어값으로 변환
→ 로봇이 closed-loop 방식으로 행동 수행

 

여기서 중요한 점은 action을 별도 head나 별도 controller로 분리하지 않고, 텍스트 토큰과 같은 방식으로 출력한다는 것이다. 이 덕분에 모델은 웹 데이터에서 학습한 시각·언어 개념과 로봇 demonstration에서 학습한 행동 패턴을 하나의 모델 안에서 함께 사용할 수 있다.

RT-2는 단순 fine-tuning이 아니라 co-fine-tuning을 사용한다. 즉, 로봇 trajectory 데이터만으로 모델을 학습시키는 것이 아니라, 기존 Vision-Language 데이터와 로봇 데이터를 함께 사용한다.

이 방식은 모델이 로봇 행동을 배우는 동시에, 웹 데이터에서 학습한 시각·언어 개념을 잊지 않도록 돕는다. 논문에서도 co-fine-tuning이 robot data only fine-tuning보다 일반화 성능에 더 유리하다고 설명한다.

 

7. 데이터셋

RT-2는 두 종류의 데이터를 결합해 학습된다.

첫째, 웹 규모 Vision-Language 데이터이다. 여기에는 이미지-텍스트 pair, visual question answering, image captioning, 여러 이미지와 텍스트가 섞인 multimodal 데이터가 포함된다. 이 데이터는 모델이 물체, 장면, 상징, 관계, 언어 표현을 이해하는 기반이 된다.

둘째, 로봇 demonstration 데이터이다. RT-2는 RT-1에서 사용된 로봇 데이터를 기반으로 하며, 이 데이터는 13대의 로봇이 약 17개월 동안 office kitchen 환경에서 수집한 demonstration으로 구성된다. 각 trajectory에는 자연어 instruction이 붙어 있다.

로봇 데이터의 작업 예시는 다음과 같다.

• 물체 집기
• 물체를 다른 물체 근처로 이동하기
• 물체를 세워 놓기
• 물체 넘어뜨리기
• 서랍 열기
• 서랍 닫기
• 물체를 receptacle 안에 넣기
• receptacle에서 물체를 꺼내 카운터 위에 놓기

개발자 관점에서 보면, RT-2의 핵심은 단순히 데이터 양이 많다는 데 있지 않다. 중요한 점은 웹 데이터가 제공하는 semantic knowledge와 로봇 데이터가 제공하는 physical action knowledge를 하나의 출력 형식, 즉 token sequence로 연결했다는 점이다.

8. 실험 결과

RT-2는 약 6,000개의 real robot evaluation을 통해 평가되었다. 실험은 크게 seen task, unseen object, unseen background, unseen environment, emergent skill 평가로 구성된다.

Seen task에서는 RT-2와 RT-1이 비슷한 수준의 성능을 보였다. 이는 RT-2가 기존 로봇 데이터 안에 있는 작업을 수행하는 능력을 유지한다는 의미이다.

차이는 unseen 조건에서 크게 나타난다. RT-1의 unseen average 성공률은 32%였고, RT-2-PaLI-X-55B와 RT-2-PaLM-E-12B는 모두 62% 수준을 보였다. 즉, RT-2는 학습 데이터에 없던 물체, 배경, 환경에서 훨씬 더 강한 일반화 성능을 보였다.

또한 emergent skill 평가에서 RT-2는 기존 baseline보다 훨씬 높은 성능을 보였다. 평가 항목은 크게 세 가지로 나뉜다. 

첫째, symbol understanding이다. 예를 들어 “사과를 숫자 3으로 옮겨라”, “콜라 캔을 하트 위에 올려라”처럼 로봇 데이터에 없던 상징을 이해해야 한다.

둘째, reasoning이다. 예를 들어 “같은 색 컵으로 사과를 옮겨라”, “2 더하기 1의 결과 근처로 물체를 옮겨라”처럼 시각적 관계, 수학, 다국어 명령을 이해해야 한다.

셋째, human recognition이다. 예를 들어 “안경을 쓴 사람에게 콜라 캔을 옮겨라”처럼 사람의 특성을 이해해야 한다.

이 평가에서 RT-2-PaLI-X-55B는 평균 60% 성공률을 보였고, RT-1은 17%, VC-1은 11% 수준이었다. 이는 RT-2가 단순히 로봇 데이터를 많이 외운 것이 아니라, 웹 규모 pretraining에서 얻은 semantic knowledge를 로봇 행동에 활용하고 있음을 보여준다.

또한 Language Table simulation benchmark에서도 RT-2-PaLI-3B는 90% 성공률을 보였고, 기존 baseline인 BC-Z, RT-1, LAVA보다 높은 성능을 보였다.

9. 로봇을 공부하는 입장에서 본 의미

RT-2에서 가장 흥미로운 부분은 “웹 지식이 로봇 행동으로 전이될 수 있는가?”라는 질문에 대해 비교적 단순하지만 강력한 답을 제시했다는 점이다.

기존에는 웹 데이터로 학습한 VLM은 이미지와 언어를 이해하는 모델이고, 로봇 정책은 실제 행동을 출력하는 모델이라는 구분이 강했다. RT-2는 이 둘을 분리하지 않고, action을 언어 토큰처럼 표현함으로써 하나의 모델 안에서 vision, language, action을 연결했다.

이 관점은 로봇 파운데이션 모델에서 매우 중요하다. 로봇이 범용성을 가지려면 단순히 joint angle이나 end-effector trajectory를 잘 예측하는 것만으로는 부족하다. 사람이 말하는 자연어 명령을 이해하고, 현재 장면 속 물체와 관계를 파악하고, 그 의미를 실제 행동으로 변환해야 한다.

RT-2는 바로 이 연결고리를 보여준다.

특히 개발자 관점에서는 다음 세 가지가 중요하다.

첫째, action space를 token화했다는 점이다. 로봇 제어를 sequence modeling 문제로 만들면, Transformer 계열 모델이 다룰 수 있는 범위 안으로 들어온다.

둘째, co-fine-tuning의 중요성이다. 로봇 데이터만 fine-tuning하면 기존 VLM이 가진 웹 지식을 잊을 수 있다. RT-2는 웹 데이터와 로봇 데이터를 함께 학습시켜 시각·언어 개념과 행동 예측을 동시에 유지한다.

셋째, 로봇 데이터의 한계와 웹 지식의 역할을 명확히 구분했다는 점이다. RT-2는 웹 지식을 통해 새로운 의미를 이해할 수 있지만, 완전히 새로운 물리적 동작을 스스로 만들어내지는 못한다. 즉, 웹 지식은 “무엇을 해야 하는지”와 “어떤 대상을 선택해야 하는지”의 일반화에는 도움을 주지만, “어떻게 움직이는지”는 여전히 로봇 demonstration 데이터의 범위에 묶인다.

따라서 RT-2는 로봇이 사람처럼 세상을 이해하고 행동하기 위한 중요한 중간 단계로 볼 수 있다.

10. 한계점

RT-2는 매우 인상적인 결과를 보이지만, 실제 현장 적용 관점에서는 몇 가지 한계가 있다.

첫째, 새로운 motion skill을 자동으로 획득하는 것은 아니다. RT-2는 웹 지식을 통해 새로운 물체나 상징, 관계를 이해할 수 있지만, 실제 물리적 행동 능력은 로봇 데이터에 포함된 skill distribution에 제한된다. 즉, 기존에 배운 pick-and-place 능력을 새로운 의미 상황에 적용할 수는 있지만, 완전히 새로운 조작 기술을 스스로 생성한다고 보기는 어렵다.

둘째, 모델 크기와 추론 비용이 크다. RT-2-PaLI-X-55B 같은 대형 모델은 real-time control을 위해 cloud TPU 기반 inference가 필요하며, 제어 주파수도 제한된다. 로봇 현장에서는 지연 시간, 네트워크 안정성, 비용이 중요한 변수이므로, 실제 제품화에는 distillation, quantization, edge inference 같은 최적화가 필요하다.

셋째, 공개적으로 사용할 수 있는 대형 VLM backbone과 fine-tuning 환경이 제한적이다. RT-2는 PaLI-X, PaLM-E 같은 강력한 모델을 기반으로 하지만, 이러한 모델을 자유롭게 재현하거나 fine-tuning하기는 쉽지 않다.

넷째, 평가 환경이 특정 로봇과 특정 작업군에 집중되어 있다. 논문에서는 7DoF mobile manipulator와 kitchen/desk 중심의 manipulation task를 다룬다. 따라서 휴머노이드, 다지 손 로봇, 산업용 로봇, 야외 환경, 고속 제어가 필요한 작업으로 확장하려면 추가 연구가 필요하다.

결론적으로 RT-2는 “로봇이 웹 지식을 행동으로 옮길 수 있는가?”라는 질문에 대해 매우 중요한 가능성을 보여준 논문이다. 다만 현재 단계에서는 범용 로봇의 완성형이라기보다는, Vision-Language Model과 로봇 제어를 하나의 VLA 모델로 연결하는 강력한 연구적 기준점으로 보는 것이 적절하다.

참고 자료

• RT-2 논문: https://proceedings.mlr.press/v229/zitkovich23a.html
• arXiv 원문: https://arxiv.org/abs/2307.15818
• Google DeepMind 블로그: https://deepmind.google/discover/blog/rt-2-new-model-translates-vision-and-language-into-action/