RoboCat: 스스로 데이터를 생성하며 개선하는 generalist agent

1. 논문 정보

• 논문명: RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation
• 저자: Konstantinos Bousmalis, Giulia Vezzani, Dushyant Rao, Coline Devin, Alex X. Lee, Maria Bauza 외
• 기관: Google DeepMind
• 공개: 2023년 6월 arXiv 공개
• 게재: Transactions on Machine Learning Research, TMLR
• 분야: Robot Learning, Generalist Agent, Robotic Manipulation, Multi-task Learning
• 키워드: RoboCat, Gato, generalist agent, visual goal-conditioning, self-improvement, robot manipulation, behavior cloning, transformer policy

2. 한 줄 요약

 

RoboCat은 여러 로봇 팔과 다양한 조작 task를 하나의 모델로 학습하는 generalist robotic agent이며, 새로운 task에 소량의 demonstration으로 fine-tuning한 뒤 스스로 추가 데이터를 생성하고, 그 데이터를 다시 학습에 넣어 성능을 개선하는 self-improvement loop를 제안한 논문이다.

조금 더 풀어서 말하면, RoboCat은 처음부터 하나의 task만 잘하는 specialist policy가 아니라, 여러 로봇 embodiment와 여러 manipulation task를 함께 학습하는 foundation agent를 목표로 한다. 이후 새로운 task나 새로운 robot arm이 등장하면 100~1000개의 human demonstration으로 fine-tuning하고, fine-tuned agent가 실제 로봇에서 추가 trajectory를 생성한다. 이 self-generated data를 기존 데이터셋에 합쳐 다음 버전의 RoboCat을 다시 학습시키는 방식이다.

핵심 흐름은 다음과 같다.

다양한 로봇 데이터로 RoboCat 사전학습
→ 새로운 task/robot에 100~1000개 demonstration 수집
→ RoboCat fine-tuning
→ fine-tuned agent가 실제 로봇에서 추가 데이터 생성
→ 기존 데이터 + self-generated data로 다음 RoboCat 학습
→ 더 넓은 task에 빠르게 적응하는 generalist agent

3. 왜 이 논문을 읽었는가?

이 논문은 로봇 학습에서 매우 중요한 문제를 다룬다.

“로봇이 새로운 task를 배울 때마다 사람이 계속 데이터를 수집해야 할까?”

기존 로봇 학습에서는 새로운 task를 만들 때마다 human teleoperation이나 expert policy를 통해 데이터를 수집해야 했다. 실제 로봇 데이터는 수집 속도가 느리고, 환경 reset도 어렵고, task가 조금만 바뀌어도 데이터를 다시 모아야 하는 문제가 있다. RoboCat 논문은 이런 병목을 줄이기 위해, 이미 학습된 generalist agent가 새로운 task에 적응한 뒤 스스로 추가 데이터를 만들 수 있는 구조를 제안한다.

이 논문이 중요한 이유는 단순히 “여러 task를 하나의 모델로 학습했다”는 점이 아니라, 모델이 자기 자신이 생성한 데이터를 다음 학습에 다시 활용하는 구조를 실험적으로 보여주었기 때문이다. 즉, RoboCat은 로봇 manipulation에서 self-improving agent의 초기 형태를 보여주는 논문이라고 볼 수 있다.

4. 기존 로봇 학습 방식의 한계

기존 로봇 manipulation 연구는 보통 하나의 task, 하나의 로봇, 하나의 환경에 맞춰 policy를 학습하는 경우가 많았다. 예를 들어 “블록 쌓기”를 학습한 policy는 “과일을 그릇에서 꺼내기”나 “새로운 로봇 팔로 기어를 집기”에는 바로 적용하기 어렵다.

또한 여러 로봇 데이터를 하나로 합치는 것도 쉽지 않다. 로봇마다 관절 수, action dimension, proprioception 정보, control frequency, camera setup이 다르기 때문이다. RoboCat 논문은 이런 서로 다른 observation/action specification을 하나의 transformer sequence model이 variable-length token sequence로 처리하도록 설계했다.

또 다른 한계는 데이터 수집 비용이다. 실제 로봇에서 demonstration을 수집하려면 사람이 직접 조작하거나, 이미 학습된 expert policy가 있어야 한다. 특히 real-world task에서는 simulation처럼 무제한 데이터를 만들기 어렵다. RoboCat은 이 문제를 해결하기 위해 fine-tuned model을 실제 로봇에 배포해 추가 데이터를 생성하고, 이를 다음 generalist training에 다시 넣는 self-improvement process를 사용한다.

5. RoboCat의 핵심 아이디어

RoboCat의 핵심 아이디어는 두 가지다.

첫째, 여러 robot embodiment와 여러 task를 하나의 generalist agent로 학습한다. RoboCat은 Gato 아키텍처를 기반으로 한 decoder-only transformer이며, 이미지, proprioception, action을 token sequence로 변환해 autoregressive하게 다음 action을 예측한다.

둘째, 모델이 스스로 데이터를 생성해 다음 학습에 활용한다. RoboCat은 새로운 task에 대해 먼저 100~1000개의 human demonstration으로 fine-tuning된다. 이후 fine-tuned RoboCat을 실제 로봇에 배포해 많은 on-policy trajectory를 수집한다. 이 데이터를 goal relabeling 등을 거쳐 기존 training dataset에 추가하고, 다음 버전의 RoboCat을 다시 학습한다.

이 과정을 간단히 정리하면 다음과 같다.

1. 기존 데이터로 generalist RoboCat 학습
2. 새로운 task/robot에 대해 소량의 demonstration 수집
3. RoboCat을 해당 task에 fine-tuning
4. fine-tuned agent가 실제 로봇에서 추가 데이터 생성
5. self-generated data를 기존 데이터셋에 추가
6. 더 강한 다음 버전의 RoboCat 학습

 

DeepMind 공식 블로그에서는 이 과정을 “100~1000개 demonstration 수집 → fine-tuning → 평균 10,000회 practice로 데이터 생성 → 기존 데이터셋에 추가 → 새 RoboCat 학습”의 5단계로 설명한다.

6. RoboCat 아키텍처 개요

 

RoboCat은 Gato를 기반으로 한 visual goal-conditioned decision transformer이다. 여기서 visual goal-conditioned라는 말은 자연어 명령 대신 목표 상태를 보여주는 goal image를 task specification으로 사용한다는 뜻이다. 예를 들어 “사과를 그릇 안에 넣어라”라는 문장을 주는 대신, 사과가 그릇 안에 들어간 목표 이미지를 보여주고 로봇이 그 상태가 되도록 행동하게 한다.

RoboCat이 사용하는 입력은 크게 세 가지다.

현재 이미지 observation
+ proprioceptive observation
+ goal image

 

출력은 해당 robot embodiment에 맞는 action sequence이다. 중요한 점은 로봇마다 action dimension이 달라도, 이를 token sequence로 바꿔 transformer가 처리한다는 점이다. 즉, Sawyer, Panda, KUKA처럼 서로 다른 로봇을 하나의 모델이 다룰 수 있도록 만든다.

이미지 tokenization에는 pretrained frozen VQ-GAN encoder를 사용한다. 논문은 VQ-GAN을 미리 학습한 뒤 이미지를 discrete token으로 변환하고, transformer는 이 token들과 proprioception/action token을 함께 입력받아 학습한다. VQ-GAN encoder는 ImageNet, Atari/MuJoCo control task 이미지, 로봇 manipulation 이미지 등 다양한 이미지 데이터로 pretraining되었다.

또한 RoboCat은 action prediction뿐 아니라 future image token prediction도 함께 학습한다. 논문은 VQ-GAN을 사용하는 경우 future image token을 함께 예측하도록 학습하는 것이 성능에 도움이 된다고 설명한다.

전체 구조는 다음과 같이 볼 수 있다.

현재 이미지
+ 현재 로봇 상태
+ 목표 이미지
→ VQ-GAN image tokenization
→ proprioception/action tokenization
→ decoder-only transformer
→ 다음 action token 예측
→ 로봇 action 실행

 

7. 데이터셋과 평가 환경

RoboCat은 simulation과 real world에서 수집한 다양한 로봇 조작 데이터를 사용한다. 데이터에는 사람이 직접 조작한 demonstration, simulation expert trajectory, 그리고 fine-tuning된 RoboCat이 실제 로봇에서 수행해 만든 self-generated trajectory가 포함된다.

이 논문의 중요한 점은 RoboCat이 여러 robot embodiment와 task를 하나의 모델로 학습했다는 것이다. 실험에는 Sawyer, Franka Panda, KUKA 등 서로 다른 로봇 팔이 사용되었고, stacking, insertion, removal, lifting, shape-matching puzzle 등 다양한 manipulation task가 포함되었다.

특히 KUKA arm은 기존 학습에 포함되지 않았던 새로운 robot embodiment로 사용되었는데, RoboCat이 새로운 로봇에도 fine-tuning을 통해 적응할 수 있는지 확인하기 위한 실험이다. 즉, 이 논문은 RoboCat이 단순히 기존 task를 잘 수행하는지뿐 아니라, 새로운 task와 새로운 로봇에 얼마나 빠르게 적응하는지를 평가한다.

8. 실험 결과

RoboCat은 다양한 로봇과 task를 하나의 모델로 학습하면서도 의미 있는 성능을 보였다. 특히 새로운 task에 대해 100~1000개의 demonstration만으로 fine-tuning이 가능했고, 이후 fine-tuned RoboCat이 직접 추가 데이터를 생성해 다음 학습에 활용할 수 있음을 보였다.

가장 중요한 결과는 self-improvement 효과이다. 초기 RoboCat은 새로운 task에서 500개의 demonstration으로 fine-tuning했을 때 평균 성공률이 36%였지만, 더 많은 task와 self-generated data를 포함해 학습한 최종 RoboCat은 같은 조건에서 평균 74%의 성공률을 보였다. 이는 RoboCat이 더 다양한 경험을 학습할수록 새로운 task에 더 빠르게 적응할 수 있음을 보여준다.

또한 RoboCat은 기존에 학습하지 않았던 KUKA 로봇 팔에도 fine-tuning을 통해 적응했다. DeepMind 소개에 따르면, RoboCat은 1000개의 human demonstration을 본 뒤 KUKA 로봇으로 gear를 집는 task에서 86% 성공률을 보였다.

정리하면, RoboCat의 실험 결과는 다음을 보여준다.

여러 로봇과 여러 task를 하나의 generalist agent로 학습할 수 있음
새로운 task에 소량의 demonstration으로 fine-tuning 가능
fine-tuned agent가 스스로 데이터를 생성할 수 있음
self-generated data를 다시 학습에 넣으면 다음 모델의 성능이 향상됨

 

9. 로봇을 공부하는 입장에서 본 의미

RoboCat은 로봇 학습에서 “데이터를 계속 사람이 만들어야 한다”는 병목을 줄이려는 시도라는 점에서 중요하다.

기존 imitation learning에서는 사람이 demonstration을 수집하고, 그 데이터를 기반으로 policy를 학습한다. 하지만 RoboCat은 한 단계 더 나아가, 소량의 human demonstration으로 fine-tuning한 policy가 스스로 더 많은 데이터를 만들고, 그 데이터를 다음 generalist model 학습에 활용한다. 이 구조는 로봇 학습에서 data flywheel을 만들려는 시도로 볼 수 있다.

또한 RoboCat은 generalist robot policy가 단순히 여러 task를 “한 모델에 욱여넣는 것”이 아니라, 더 다양한 task를 학습할수록 새로운 task에 더 빠르게 적응할 수 있음을 보여준다. 논문은 training data를 확장하고 다양화하면 RoboCat이 training task에서 더 잘 수행할 뿐 아니라 unseen task에 대한 fine-tuning 효율도 좋아진다고 보고한다.

OpenVLA와 비교하면 차이도 뚜렷하다. OpenVLA는 이미지와 언어 명령을 입력받아 action을 생성하는 VLA 모델이고, RoboCat은 visual goal image를 task specification으로 사용하는 goal-conditioned agent이다. 즉, OpenVLA는 “언어 명령 기반 로봇 action 생성”에 가깝고, RoboCat은 “목표 상태 이미지를 보고 그 상태를 만들도록 행동하는 agent”에 가깝다. RoboCat 논문도 future work로 language conditioning이나 demonstration-based task specification을 추가할 수 있다고 언급한다.

정리하면 RoboCat의 의미는 다음과 같다.

여러 robot embodiment를 하나의 transformer agent로 다룸
+ 새로운 task에 100~1000개 demonstration으로 적응
+ fine-tuned agent가 self-generated data 생성
+ 그 데이터를 다시 학습해 다음 agent 성능 개선
→ generalist robot agent의 자기개선 루프 제시

10. 한계점

첫째, RoboCat은 language instruction 기반 모델이 아니다. task는 주로 goal image로 지정된다. goal image는 직관적이고 hindsight relabeling이 가능하다는 장점이 있지만, “빨간 컵을 집어 오른쪽 상자에 넣어라”처럼 복잡한 언어 명령을 직접 해석하는 모델은 아니다. 논문도 향후 flexible multi-modal task specification, language conditioning 등을 future work로 제시한다.

둘째, 실험 환경은 여전히 controlled lab setting이다. 논문은 다양한 task와 여러 로봇을 다루지만, 서로 다른 embodiment가 모두 표준화된 cage/basket 환경에서 사용되며 배경도 시각적으로 유사하다고 설명한다. 저자들은 다음 세대 foundation agent가 더 다양한 texture와 wild environment에서 robust하게 동작해야 한다고 언급한다.

셋째, self-improvement가 완전히 자율적인 online learning은 아니다. 논문은 RoboCat의 self-improvement가 AGI safety 측면의 이슈를 가질 수 있다고 언급하면서도, 현재 방식에서는 사람이 데이터 수집을 시작·중지하고, 실제 로봇과 상호작용할 때는 frozen RoboCat이 사용되며, interaction 중에 learning이 일어나지는 않는다고 설명한다.

넷째, 성능이 아직 모든 task에서 안정적인 수준은 아니다. 예를 들어 Table 1에서 shape-matching insertion-base fine-tuning task는 500/1000 demonstration 기준 평균 6%/13%로 낮은 성공률을 보인다. 이는 일부 정밀 조작 task나 shape understanding이 필요한 task에서는 여전히 어려움이 남아 있음을 보여준다.

결론적으로 RoboCat은 “로봇 generalist agent가 새로운 task를 배우고, 스스로 만든 데이터를 다시 학습에 활용해 개선될 수 있다”는 가능성을 보여준 논문이다. 아직 controlled environment와 goal-image conditioning 중심이라는 한계는 있지만, self-generated data를 활용한 robot learning loop를 실험적으로 제시했다는 점에서 중요한 연구다.

 

* 논문 링크

[2306.11706] RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation