RT-1: 로봇도 Transformer로 제어할 수 있을까?

1. 논문 정보

• 논문명: RT-1: Robotics Transformer for Real-World Control at Scale
• 저자: Anthony Brohan et al.
• 소속: Robotics at Google, Everyday Robots, Google Research
• 공개: 2022년 12월 arXiv 공개, 2023년 8월 v2 개정
• 분야: Robotics, Artificial Intelligence, Vision-Language-Action, Imitation Learning
• 키워드: Robotics Transformer, RT-1, Robot Learning, Transformer, Language-conditioned Policy

2. 한 줄 요약

RT-1은 자연어 명령과 카메라 이미지를 입력으로 받아, 실제 로봇의 행동을 토큰 형태로 예측하는 Transformer 기반 로봇 제어 모델이다.

조금 더 풀어서 말하면, 사람이 “서랍 위에 있는 사과를 집어서 카운터 위에 놓아라”와 같은 명령을 주면, 로봇이 현재 카메라 이미지를 보고 어떤 행동을 해야 하는지 예측하는 모델이다.

 

3. 왜 이 논문을 읽었는가?

최근 로봇 분야에서는 단일 작업만 잘하는 로봇보다, 다양한 명령과 환경에 대응할 수 있는 범용 로봇 정책 모델에 대한 관심이 커지고 있다.

컴퓨터 비전이나 자연어 처리 분야에서는 대규모 데이터와 Transformer 기반 모델을 이용해 일반화 성능을 크게 끌어올렸다. 하지만 로봇 분야는 실제 데이터를 수집하기 어렵고, 로봇마다 하드웨어 구조와 제어 방식이 다르기 때문에 같은 방식의 확장이 쉽지 않다.

RT-1은 이러한 문제를 다루는 대표적인 논문이다. 특히 실제 로봇 데이터를 대규모로 수집하고, 이를 Transformer 기반 정책 모델에 학습시켰다는 점에서 이후 RT-2, Open X-Embodiment, Octo, GR00T 같은 로봇 파운데이션 모델 흐름을 이해하기 위한 좋은 출발점이라고 볼 수 있다.

4. 기존 로봇 학습 방식의 한계

기존의 로봇 학습은 특정 작업에 맞춰 데이터를 수집하고, 그 작업을 잘 수행하는 정책을 학습하는 방식이 많았다.

예를 들어 “컵 집기”, “서랍 열기”, “물체 옮기기” 같은 작업마다 데이터를 따로 모으고 모델을 학습하는 식이다. 이 방식은 특정 task에서는 좋은 성능을 낼 수 있지만, 새로운 물체나 새로운 환경, 새로운 명령이 들어오면 일반화가 어렵다.

 

또한 실제 로봇 데이터는 수집 비용이 크다. 사람의 teleoperation이 필요하거나, 실제 환경에서 반복 실험을 해야 하며, 실패나 안전 문제도 고려해야 한다. 따라서 로봇 분야에서는 단순히 모델을 키우는 것만으로는 충분하지 않고, 어떤 데이터를 어떻게 모으고, 그 데이터를 모델이 잘 흡수할 수 있게 설계하는지가 중요하다.

 

RT-1 논문은 이 문제를 다음과 같이 바라본다.

“다양한 로봇 작업 데이터를 하나의 큰 모델에 학습시키면, 로봇도 비전·언어 모델처럼 더 나은 일반화 성능을 가질 수 있을까?”

 

5. RT-1의 핵심 아이디어

RT-1의 핵심은 로봇 제어 문제를 sequence modeling 문제로 바라본다는 점이다.

입력으로는 자연어 명령과 카메라 이미지 시퀀스가 들어간다. 출력으로는 로봇 팔, 그리퍼, 모바일 베이스를 제어하기 위한 action이 나온다. 이 action은 연속값을 그대로 회귀하는 방식이 아니라, discrete action token 형태로 변환되어 예측된다.

즉, RT-1은 다음과 같은 흐름을 가진다.

 

자연어 명령
→ 카메라 이미지
→ vision-language feature
→ Transformer
→ action token
→ 로봇 제어 명령

 

이 구조에서 중요한 점은 로봇의 관측과 행동을 token으로 표현했다는 것이다. 이는 자연어 처리에서 문장을 token sequence로 보고 Transformer가 다음 token을 예측하는 방식과 비슷한 관점이다.

 

6. RT-1 아키텍처 개요

RT-1의 전체 구조를 단순화하면 다음과 같다.

 

 

Natural Language Instruction
→ Universal Sentence Encoder
→ Language Embedding
→ FiLM-conditioned EfficientNet-B3
→ TokenLearner
→ Decoder-only Transformer
→ Discrete Action Tokens
→ Arm / Base / Mode Control

 

먼저 자연어 명령은 Universal Sentence Encoder를 통해 language embedding으로 변환된다.

카메라 이미지는 EfficientNet-B3 기반 이미지 인코더를 통해 feature로 변환된다. 이때 RT-1은 언어 정보를 이미지 처리 이후에 단순히 붙이는 것이 아니라, FiLM layer를 통해 이미지 인코더 내부에 주입한다. 즉, 모델이 현재 명령과 관련 있는 시각 정보에 더 집중할 수 있도록 만든다.

그 다음 TokenLearner가 많은 이미지 token 중 중요한 token만 압축해서 Transformer로 전달한다. 로봇 제어에서는 실시간성이 중요하기 때문에, 모든 시각 정보를 그대로 Transformer에 넣는 것보다 중요한 token만 골라내는 구조가 효율적이다.

마지막으로 decoder-only Transformer가 token sequence를 처리하고, 로봇의 행동에 해당하는 action token을 출력한다.

7. 데이터셋

RT-1은 실제 로봇 데이터를 대규모로 사용했다는 점이 중요하다.

논문에서는 13대의 로봇을 이용해 약 17개월 동안 데이터를 수집했으며, 총 130k demonstration과 700개 이상의 task instruction을 사용했다고 설명한다.

작업은 단순한 pick-and-place뿐 아니라 서랍 열기, 물체 이동, 특정 위치에 놓기 등 다양한 manipulation task로 구성된다.

개발자 관점에서 보면, RT-1의 성능은 단순히 모델 구조에서만 나온 것이 아니다. 오히려 다양한 task, 다양한 물체, 다양한 환경에서 수집한 실제 로봇 데이터가 매우 중요한 역할을 한다고 볼 수 있다.

8. 실험 결과

RT-1은 여러 baseline과 비교했을 때 좋은 성능을 보였다.

대표적으로 논문에서는 seen task, unseen task, distractor, background 변화 조건에서 평가를 수행했다. RT-1은 seen task에서 97%, unseen task에서 76%, distractor 조건에서 83%, background 변화 조건에서 59% 성공률을 보였다.

여기서 중요한 점은 단순히 학습한 작업을 잘했다는 것이 아니다. 새로운 명령이나 방해 물체, 배경 변화가 있는 상황에서도 기존 방법보다 더 높은 일반화 성능을 보였다는 점이 핵심이다.

물론 background 변화 조건의 성능은 상대적으로 낮다. 이는 실제 로봇 모델이 환경 변화에 대해 완전히 강건해지려면 더 다양한 환경 데이터가 필요하다는 점을 보여준다.

9. 로봇을 공부하는 입장에서 본 의미

RT-1에서 가장 흥미로운 부분은 로봇 제어를 token 기반 문제로 재구성했다는 점이다. 기존에는 로봇 제어를 joint angle, velocity, trajectory planning 같은 관점에서 많이 바라봤다. RT-1은 여기에 언어 명령과 시각 정보를 결합하고, 최종 action을 token으로 표현해 Transformer가 예측하도록 만들었다. 이 관점은 이후 로봇 파운데이션 모델의 중요한 흐름으로 이어진다. 로봇의 observation, language instruction, action을 모두 하나의 sequence로 다룰 수 있다면, 더 많은 데이터와 더 큰 모델을 이용해 범용적인 로봇 정책을 학습할 가능성이 생긴다. 다만 실제 현장에 바로 적용하려면 고려할 점이 많다.

첫째, 로봇마다 action space가 다르다. RT-1에서 사용한 arm, base, mode control 구조가 내가 사용하는 로봇과 그대로 맞지 않을 수 있다.

둘째, 데이터 수집 비용이 크다. RT-1은 13대의 로봇과 17개월의 데이터 수집을 기반으로 한다. 개인이나 소규모 팀이 그대로 재현하기는 어렵다.

셋째, 실제 서비스 환경에서는 조명, 배경, 물체 배치, 사람의 개입 등 변수가 많다. 논문에서도 background 변화에 대한 성능은 다른 조건보다 낮게 나타난다.

따라서 RT-1은 “그대로 가져다 쓰는 모델”이라기보다는, 앞으로 로봇 제어 모델을 설계할 때 observation과 action을 어떻게 표현하고, language와 vision을 어떻게 결합할지 보여주는 기준점으로 보는 것이 좋다.

10. 한계점

RT-1은 imitation learning 기반 모델이기 때문에 demonstration 데이터의 품질과 범위에 영향을 받는다. 사람이 보여준 행동을 학습하는 방식이므로, demonstration에 없는 완전히 새로운 행동을 스스로 만들어내는 데는 한계가 있다.

또한 새로운 instruction에 대한 일반화도 기존에 본 개념들의 조합 안에서 더 잘 이루어진다. 완전히 새로운 motion이나 완전히 다른 조작 방식에 대해서는 한계가 있을 수 있다.

마지막으로 논문에서 다룬 manipulation task는 대규모이기는 하지만, 매우 정교한 dexterous manipulation까지 포함한다고 보기는 어렵다. 따라서 휴머노이드나 다지 손 로봇처럼 더 복잡한 embodiment로 확장하려면 추가적인 연구가 필요하다.

 

* RT-1 논문 링크

[2212.06817] RT-1: Robotics Transformer for Real-World Control at Scale