Open X-Embodiment: 여러 로봇 데이터를 통합하는 cross-embodiment 학습

1. 논문 정보

• 논문명: Open X-Embodiment: Robotic Learning Datasets and RT-X Models
• 모델명: RT-X, 구체적으로 RT-1-X, RT-2-X
• 저자: Open X-Embodiment Collaboration
• 공개: 2023년 10월 arXiv 공개
• 분야: Robot Learning, Imitation Learning, Vision-Language-Action Model, Cross-Embodiment Learning, Generalist Robot Policy
• 키워드: Open X-Embodiment, RT-X, RT-1-X, RT-2-X, Cross-Embodiment, Robot Foundation Model, VLA

2. 한 줄 요약

 

Open X-Embodiment는 여러 로봇 embodiment에서 수집된 데이터를 표준화해 하나의 대규모 로봇 데이터셋으로 만들고, 이를 이용해 RT-1-X와 RT-2-X 같은 cross-embodiment robot policy를 학습하면 다른 로봇의 경험이 특정 로봇의 성능과 새로운 skill generalization에 도움을 줄 수 있음을 보인 논문이다.

조금 더 풀어서 말하면, 기존 로봇 학습은 보통 특정 로봇, 특정 환경, 특정 task에 맞춰 데이터를 수집하고 policy를 학습한다. 예를 들어 A 연구실의 Franka 로봇으로 drawer를 여는 데이터를 모으면, 그 데이터는 대체로 그 로봇과 그 환경에만 잘 맞는다.

Open X-Embodiment는 이 한계를 넘기 위해 여러 연구실의 여러 로봇 데이터를 하나로 모은다. 그리고 “로봇마다 생김새와 action space가 다르더라도, 공통적으로 배울 수 있는 manipulation 지식이 있지 않을까?”라는 질문을 던진다.

핵심 흐름은 다음과 같다.

여러 연구실의 로봇 데이터
→ RLDS 기반 표준 포맷으로 변환
→ observation / action space를 coarse alignment
→ RT-1-X, RT-2-X 학습
→ 여러 로봇과 새로운 skill에서 성능 평가

 

즉, 이 논문은 단순히 새 모델 하나를 제안했다기보다, 로봇 학습도 NLP나 Vision처럼 큰 데이터셋과 범용 pretrained model 중심으로 갈 수 있는가를 실험적으로 보여준 논문이다.

3. 왜 이 논문을 읽었는가?

이 논문은 로봇 파운데이션 모델 흐름에서 매우 중요한 질문을 던진다.

“로봇도 여러 embodiment의 데이터를 함께 학습하면, 하나의 generalist policy로 다양한 로봇과 task에 대응할 수 있을까?”

로봇 데이터는 수집 비용이 매우 크다. 새로운 로봇을 사용하거나, 카메라 위치가 바뀌거나, 물체가 달라지거나, 환경이 바뀌면 데이터를 다시 모아야 하는 경우가 많다. 기존에는 로봇마다, task마다, 환경마다 별도의 policy를 학습하는 방식이 일반적이었다. 논문도 robotics에서는 한 application, 한 robot, 한 environment마다 별도 모델을 학습하는 관행이 있었다고 설명한다.

하지만 NLP와 Vision에서는 이미 대규모 데이터로 학습한 범용 모델을 downstream task에 재사용하는 방식이 강력하게 자리 잡았다. Open X-Embodiment는 이 관점을 robotics에 적용해 보려는 시도이다. 단일 로봇 데이터셋은 좁지만, 여러 연구실의 데이터를 합치면 로봇, 물체, 환경, skill의 다양성을 훨씬 넓힐 수 있다는 것이 논문의 기본 가정이다.

따라서 이 논문은 RT-1, RT-2, PaLM-E, OpenVLA, Octo 같은 robot foundation model 흐름을 이해하기 위한 핵심 기반 논문이라고 볼 수 있다.

4. 기존 로봇 학습 방식의 한계

기존 로봇 학습 방식의 가장 큰 한계는 데이터와 모델이 너무 특정 embodiment에 묶여 있다는 점이다.

첫째, 로봇마다 형태가 다르다. Franka, Sawyer, UR5, WidowX, Google Robot은 arm 구조, gripper, workspace, control frequency, 카메라 위치가 다르다. 같은 “pick up object” task라도 로봇마다 실제 action은 다르게 표현된다.

둘째, 데이터 포맷이 다르다. 연구실마다 observation, action, language instruction, camera stream, proprioception 저장 방식이 다르다. 이 때문에 서로 다른 데이터셋을 바로 합쳐서 학습하기 어렵다.

셋째, action space가 다르다. 어떤 데이터셋은 end-effector delta pose를 쓰고, 어떤 데이터셋은 velocity를 쓰고, 어떤 데이터셋은 absolute pose나 gripper command를 다르게 정의한다. 논문은 observation과 action space가 로봇마다 크게 다르다는 점을 cross-embodiment 학습의 핵심 난점으로 설명한다.

넷째, 작은 데이터셋에서는 일반화가 어렵다. 특정 연구실에서 수집한 소규모 demonstration만으로 policy를 학습하면, 새로운 물체나 새로운 배경, 새로운 표현의 언어 지시에 취약할 수 있다.

Open X-Embodiment는 이 문제를 해결하기 위해 여러 로봇 데이터를 하나의 큰 데이터셋으로 통합하고, 최소한의 공통 observation/action 표현을 정의한다.

5. Open X-Embodiment의 핵심 아이디어

Open X-Embodiment의 핵심 아이디어는 서로 다른 로봇의 데이터를 하나의 학습 mixture로 만들고, high-capacity model이 그 안에서 공통된 조작 지식을 배울 수 있게 하는 것​이다.

논문은 이를 X-embodiment training이라고 부른다. 여기서 X는 여러 robot embodiment를 의미한다. 즉, 하나의 로봇에서만 학습하는 것이 아니라, 여러 로봇의 데이터를 함께 학습해 범용적인 robot policy를 만들려는 접근이다.

전체 구조는 다음처럼 볼 수 있다.

Open X-Embodiment Dataset
= 여러 로봇 데이터셋
+ 표준화된 RLDS format
+ language instruction
+ RGB observation
+ end-effector action 변환

↓ 학습

RT-1-X
= RT-1 architecture
+ cross-embodiment robotics data mixture

RT-2-X
= RT-2 / PaLI-X 기반 VLA model
+ web-scale VLM pretraining
+ robotics data mixture co-finetuning

중요한 점은 이 논문이 새로운 architecture 자체를 주된 기여로 내세우는 것은 아니라는 것이다. 논문은 RT-1과 RT-2라는 기존 Transformer 기반 robot policy를 사용하고, 이들이 cross-embodiment data를 활용할 수 있는지 검증한다. 저자들도 architecture innovation보다는 데이터, 도구, model checkpoint를 제공해 X-embodiment 연구를 촉진하는 것이 목적이라고 설명한다.

6. 데이터셋 구조

Open X-Embodiment Dataset은 여러 연구실의 기존 로봇 데이터셋을 하나로 모아 만든 대규모 real robot dataset이다.

프로젝트 페이지 기준으로 이 데이터셋은 1M+ real robot trajectories, 22 robot embodiments, 60 existing robot datasets​를 포함한다. 로봇은 single-arm robot뿐 아니라 bi-manual robot, quadruped까지 포함한다고 설명된다.

데이터는 RLDS 형식으로 저장된다. RLDS는 episode 단위로 로봇 데이터를 저장하는 포맷이며, 서로 다른 camera, depth, point cloud, action space 같은 다양한 modality를 수용할 수 있다. GitHub repository에서도 각 데이터셋이 RLDS episode format의 episode sequence로 표현된다고 설명한다.

데이터셋의 의미는 단순히 크기만 큰 것이 아니다. 여러 연구실에서 수집된 데이터가 포함되어 있기 때문에 다음과 같은 다양성을 가진다.

로봇 다양성: Franka, WidowX, UR5, Google Robot 등
환경 다양성: 여러 연구실, 여러 scene, 다른 카메라 위치
task 다양성: pick-place, opening, routing, wiping, assembling 등
물체 다양성: household object, food item, utensil, appliance 등

논문은 대부분의 skill이 pick-place 계열이지만, long-tail에는 wiping, assembling 같은 skill도 포함된다고 분석한다. 또한 언어 annotation에서 object와 behavior를 추출해 dataset diversity를 분석한다.

7. RT-X 모델 구조

 

논문에서 사용하는 모델은 크게 두 가지이다.

첫 번째는 RT-1-X이다. RT-1-X는 기존 RT-1 architecture를 Open X-Embodiment robotics data mixture로 학습한 모델이다. RT-1은 robot control을 위해 설계된 35M parameter Transformer 기반 모델이며, image history와 language instruction을 입력으로 받고 tokenized action을 출력한다. 이미지 처리는 ImageNet-pretrained EfficientNet을 사용하고, 언어 지시는 USE embedding으로 변환한 뒤 FiLM layer를 통해 vision-language representation을 결합한다.

두 번째는 RT-2-X이다. RT-2-X는 RT-2 계열의 Vision-Language-Action model을 cross-embodiment robotics data로 co-finetuning한 모델이다. RT-2는 action을 text token처럼 표현해, pretrained vision-language model을 robot control에 사용할 수 있게 만든다. 논문에서는 PaLI-X 기반 RT-2 variant를 사용하며, vision model로 ViT, language model로 UL2를 사용하는 구조라고 설명한다.

입출력 관점에서 두 모델은 다음처럼 정리할 수 있다.

입력:
- RGB image 또는 image history
- natural language instruction

출력:
- robot action token

action 표현:
- x, y, z
- roll, pitch, yaw
- gripper opening
- episode termination

 

논문은 각 action dimension을 256개 bin으로 discretize하며, 총 8개 dimension을 사용한다고 설명한다. 이 중 7개는 end-effector movement와 gripper 관련 action이고, 1개는 episode termination이다.

다만 여기서 중요한 한계도 있다. 논문은 action coordinate frame을 완전히 정렬하지 않았고, 같은 action vector가 로봇마다 다른 motion을 유발할 수 있다고 명시한다. 즉, Open X-Embodiment는 완벽한 cross-robot action abstraction을 해결했다기보다, coarse alignment로도 high-capacity model이 어느 정도 transfer를 배울 수 있는지 확인한 연구에 가깝다.

8. 실험 구성

논문은 RT-X가 cross-embodiment data로부터 실제 positive transfer를 얻는지 보기 위해 크게 세 가지 질문을 평가한다.

첫째, 여러 로봇 데이터를 함께 학습하면 각 evaluation domain의 in-distribution task 성능이 좋아지는가?

둘째, 여러 로봇 데이터로 학습하면 unseen object, unseen background, unseen environment, 또는 새로운 skill에 대한 generalization이 좋아지는가?

셋째, model size, architecture, dataset composition, image history, web pretraining 같은 요소가 성능에 어떤 영향을 주는가?

이를 위해 논문은 총 6개 로봇에서 3,600개 evaluation trial​을 수행했다고 설명한다.

평가 domain은 크게 small-scale dataset domain과 large-scale dataset domain으로 나뉜다.

Small-scale domain에는 Kitchen Manipulation, Cable Routing, NYU Door Opening, AUTOLab UR5, Robot Play 등이 포함된다. 이 경우 기존에 각 데이터셋 저자들이 만든 Original Method와 RT-1-X를 비교한다.

Large-scale domain에는 Bridge dataset과 RT-1 dataset이 포함된다. 이 경우 RT-1-X뿐 아니라 더 큰 모델인 RT-2-X도 평가한다. 논문은 데이터가 많은 domain에서는 작은 RT-1-X가 underfitting될 수 있으며, 더 큰 RT-2-X 같은 high-capacity model이 필요하다고 설명한다.

9. 실험 결과

가장 중요한 결과는 cross-embodiment data로 학습한 RT-X가 여러 로봇에서 positive transfer를 보였다는 점이다.

Small-scale dataset domain에서 RT-1-X는 5개 dataset 중 4개에서 각 robot-specific dataset만으로 학습한 Original Method보다 높은 성능을 보였다. 프로젝트 페이지와 DeepMind 블로그는 RT-1-X가 small-data domain에서 Original Method 또는 RT-1 대비 평균 약 50% 높은 success rate를 보였다고 설명한다.

두 번째 결과는 모델 capacity가 중요하다는 점이다. Large-scale dataset domain에서는 RT-1-X가 robot-specific RT-1 baseline을 이기지 못했다. 논문은 이를 RT-1-X가 큰 heterogeneous dataset을 충분히 흡수하지 못하는 underfitting 문제로 해석한다. 반면 훨씬 큰 RT-2-X는 Original Method와 RT-1보다 좋은 성능을 보여, cross-robot training이 data-rich domain에서도 효과가 있을 수 있지만 충분히 큰 모델이 필요하다는 점을 보여준다.

세 번째 결과는 emergent skill transfer이다. 논문은 Google Robot으로 평가하되, Google Robot의 기존 RT-2 dataset에는 없고 WidowX robot의 Bridge dataset에는 있는 object/skill을 테스트했다. RT-2-X는 RT-2보다 emergent skills 평가에서 더 좋은 성능을 보였고, 프로젝트 페이지와 DeepMind 블로그는 RT-2-X가 RT-2 대비 약 3배 높은 성능을 보였다고 설명한다.

예를 들어 “move apple near cloth”와 “move apple on cloth”처럼 전치사 하나가 바뀌는 지시에서도 서로 다른 행동을 보였고, object 사이의 공간 관계를 반영하는 행동을 수행했다. 이는 다른 로봇 데이터에서 배운 skill이나 spatial understanding이 Google Robot으로 전이될 수 있음을 시사한다.

네 번째 결과는 web pretraining과 image history가 중요하다는 점이다. 논문은 RT-2-X ablation에서 짧은 image history를 포함하는 것이 generalization 성능을 높이고, web-based pretraining이 large model 성능에 중요하다고 설명한다. 또한 더 큰 모델일수록 robotics dataset 간 transfer를 더 잘 활용할 수 있다고 분석한다.

10. 로봇을 공부하는 입장에서 본 의미

이 논문의 가장 큰 의미는 로봇 학습의 단위를 “단일 로봇/단일 task”에서 “여러 로봇/여러 task의 데이터 mixture”로 확장했다는 점​이다.

R3M은 사람 영상에서 visual representation을 학습할 수 있음을 보여주었고, VC-1은 embodied AI용 visual backbone을 어떻게 평가할지 다루었다. Open X-Embodiment는 여기서 더 나아가, 실제 로봇 demonstration 데이터를 여러 embodiment에 걸쳐 통합하고, 그 데이터로 action policy 자체를 학습한다.

개발자나 연구자 관점에서 보면 의미는 세 가지로 정리할 수 있다.

첫째, 로봇 데이터셋 표준화의 중요성을 보여준다. 아무리 좋은 데이터가 여러 연구실에 흩어져 있어도, 포맷이 다르면 함께 학습하기 어렵다. Open X-Embodiment는 RLDS 기반으로 데이터를 통합해 후속 연구가 공통 데이터셋 위에서 실험할 수 있게 했다. GitHub repository에서도 Open X-Embodiment의 목표가 open-sourced robotic data를 같은 unified format으로 제공하는 것이라고 설명한다.

둘째, cross-embodiment transfer가 실제로 가능할 수 있음을 보였다. 서로 다른 로봇의 데이터가 오히려 특정 로봇의 성능을 올리고, 특정 로봇의 원래 데이터에는 없는 skill을 다른 로봇 데이터로부터 배울 수 있다는 결과는 robot foundation model의 중요한 근거가 된다.

셋째, 데이터만으로는 부족하고 모델 capacity가 함께 필요하다. RT-1-X는 small-data domain에서는 강했지만, large-scale heterogeneous dataset을 모두 흡수하기에는 부족한 경우가 있었다. 반면 RT-2-X처럼 큰 VLA model은 더 강한 transfer를 보였다. 이는 로봇 파운데이션 모델에서도 데이터 scale과 모델 scale이 함께 중요하다는 것을 보여준다.

결론적으로 Open X-Embodiment는 OpenVLA, Octo, π0 같은 후속 generalist robot policy 연구의 기반이 되는 데이터 중심 논문이라고 볼 수 있다. 실제로 OpenVLA와 Octo 같은 후속 연구들도 Open X-Embodiment dataset을 중요한 학습 데이터로 활용한다.

11. 한계점

Open X-Embodiment는 중요한 기준점을 제시했지만, 아직 해결되지 않은 문제도 많다.

첫째, 완전한 action space 정렬이 아니다. 논문은 end-effector 기준 7D action으로 coarse alignment를 하지만, coordinate frame이나 control semantics를 완전히 통일하지는 않는다. 따라서 같은 action vector가 로봇마다 다른 motion을 만들 수 있다.

둘째, 모든 로봇 embodiment를 다루는 것은 아니다. 논문은 RT-X가 X-embodied robot generalist로 가는 한 단계라고 말하면서도, 매우 다른 sensing modality나 actuation modality를 가진 로봇은 실험하지 않았다고 명시한다. 또한 새로운 로봇으로의 generalization 자체를 직접 연구하지 않았고, 언제 positive transfer가 발생하는지 판단하는 기준도 아직 제공하지 못했다고 설명한다.

셋째, 데이터 불균형 문제가 있을 수 있다. Open X-Embodiment는 여러 데이터셋을 통합하지만, 모든 robot embodiment와 task가 균등하게 포함된 것은 아니다. 논문에서도 Franka가 scene diversity에서 두드러지고, xArm과 Google Robot이 trajectory 수 측면에서 큰 비중을 가진다고 분석한다.

넷째, RT-2-X는 크고 무겁다. RT-2-X는 high-capacity VLA model이기 때문에, 실제 로봇 배포 관점에서는 inference cost, latency, cloud dependency 같은 문제가 있다. 논문도 inference 시 RT-1은 local에서 실행하지만 RT-2는 cloud service로 query한다고 설명한다.

다섯째, industrial robotics로 바로 적용하기에는 검증 범위가 제한적이다. 논문은 실제 로봇 평가를 수행했지만, 안전 제약이 강한 산업 현장, 고정밀 조립, 장시간 작업, 실패 복구, multi-step planning까지 해결한 것은 아니다. 이 부분은 논문이 직접 주장한 한계라기보다, 실험 범위를 바탕으로 한 해석이다.

결론적으로 Open X-Embodiment는 “여러 로봇의 데이터를 통합하면 로봇도 범용 policy 학습으로 갈 수 있다”​는 가능성을 보여준 논문이다. 하지만 동시에 데이터 포맷, action alignment, embodiment gap, 데이터 불균형, 모델 크기, 새로운 로봇으로의 generalization​이라는 문제가 여전히 남아 있음을 보여준다.

 

* 논문 링크

[2310.08864] Open X-Embodiment: Robotic Learning Datasets and RT-X Models