VIMA: 로봇 task를 multimodal prompt로 표현하는 방식

1. 논문 정보

• 논문명: VIMA: General Robot Manipulation with Multimodal Prompts
• 저자: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan
• 소속: Stanford, NVIDIA, Caltech, Tsinghua, UT Austin 등
• 공개: 2022년 10월 arXiv 공개, ICML 2023 발표
• 분야: Robot Learning, Multimodal Learning, Foundation Model, Imitation Learning, Transformer
• 키워드: VIMA, Multimodal Prompt, Robot Manipulation, VIMA-Bench, Object-centric Representation, Generalist Robot Agent

2. 한 줄 요약

 

VIMA는 로봇 조작 task를 자연어만이 아니라 이미지, 장면, 영상 demonstration이 섞인 multimodal prompt로 표현하고, 이를 Transformer 기반 로봇 policy가 읽어 action을 autoregressive하게 예측하도록 만든 generalist robot manipulation 모델이다.

 

조금 더 풀어서 말하면, 기존 로봇 학습에서는 “언어 명령 따르기”, “목표 이미지처럼 재배치하기”, “시연 영상을 보고 따라 하기” 같은 문제를 서로 다른 task로 보고 별도 모델이나 별도 입력 형식으로 다루는 경우가 많았다. VIMA는 이 다양한 task specification 방식을 하나의 prompt 형식으로 통합한다.

 

예를 들어 다음과 같은 식이다.

Put {object image} into {container image}

Rearrange objects to match this {goal scene image}

Follow this motion trajectory: {video frame 1}, {video frame 2}, {video frame 3}

 

즉, VIMA의 핵심은 로봇 task를 “텍스트 + 이미지 + 영상 프레임이 섞인 시퀀스”로 표현하고, 로봇 제어를 하나의 sequence modeling 문제로 바꾸는 것이다.

 

3. 왜 이 논문을 읽었는가?

이 논문은 로봇 파운데이션 모델 흐름에서 중요한 질문을 던진다.

“로봇에게 task를 지시하는 방식을 자연어 하나로 제한하지 않고, 이미지나 영상까지 섞은 prompt로 표현할 수 있을까?”

사람은 로봇에게 일을 시킬 때 항상 문장만 사용하는 것은 아니다. “이 컵을 가져와”라고 말하면서 컵 사진을 보여줄 수도 있고, “이렇게 움직여”라고 하면서 시연 영상을 보여줄 수도 있다. 또는 “이 장면처럼 정리해줘”처럼 목표 상태 이미지를 줄 수도 있다.

VIMA는 이러한 task specification 방식을 하나의 multimodal prompt 인터페이스로 통합하려는 시도이다. 논문은 자연어 instruction, visual goal, one-shot video imitation, novel concept grounding, visual constraint, visual reasoning 등을 multimodal prompt로 표현할 수 있다고 보고, 이를 위한 VIMA-Bench와 Transformer 기반 agent를 제안한다.

 

4. 기존 로봇 학습 방식의 한계

기존 로봇 조작 연구에서는 task마다 입력 형식이 달랐다.

언어 명령을 따르는 모델은 자연어 instruction을 입력으로 받고, goal-conditioned manipulation은 목표 이미지를 입력으로 받으며, imitation learning은 demonstration trajectory나 video를 입력으로 받는다. 문제는 이들이 서로 다른 architecture, objective, data pipeline, training procedure로 구현되는 경우가 많다는 점이다. VIMA 논문도 기존 방식이 “siloed robot systems”를 만들기 쉽다고 지적한다.

예를 들어 “빨간 블록을 파란 그릇에 넣어라”는 language-conditioned task이고, “현재 장면을 이 목표 이미지처럼 바꿔라”는 visual goal task이며, “이 영상처럼 물체를 움직여라”는 imitation task이다.

사람 입장에서는 모두 “로봇에게 할 일을 알려주는 방식”이지만, 기존 모델 입장에서는 서로 다른 문제로 취급되기 쉽다.

이 때문에 일반적인 로봇 agent를 만들려면 다음과 같은 어려움이 생긴다.

첫째, task마다 별도 모델을 만들어야 한다.

둘째, 새로운 task specification 방식이 등장하면 기존 모델에 쉽게 결합하기 어렵다.

셋째, 로봇이 하나의 통합된 방식으로 다양한 지시를 이해하고 행동하는 generalist agent가 되기 어렵다.

VIMA는 이 문제를 “task specification을 prompt로 통합하자”는 방향으로 해결하려 한다.

 

5. VIMA의 핵심 아이디어

VIMA의 핵심 아이디어는 다양한 로봇 manipulation task를 multimodal prompt로 표현하는 것이다.

논문에서는 multimodal prompt를 텍스트와 이미지가 임의 순서로 섞인 sequence로 정의한다. 이미지에는 단일 객체 이미지, 전체 장면 이미지, 영상 demonstration frame 등이 포함될 수 있다.

예를 들어 다음과 같은 task들이 하나의 prompt 형식으로 표현된다.

• Simple object manipulation: “Put {object image} into {container image}”
• Visual goal reaching: “Rearrange objects to match this {scene image}”
• Novel concept grounding: “This is dax: {object image}. Put dax into {container image}”
• One-shot video imitation: “Follow this motion trajectory: {frame1}, {frame2}, {frame3}”
• Visual constraint satisfaction: “Sweep objects without touching {constraint object image}”
• Visual reasoning: “Move all objects with the same texture as {object image} into {container image}”

이 방식의 장점은 task의 종류가 달라도 모델 입장에서는 모두 “prompt를 읽고 action을 예측하는 문제”가 된다는 점이다.

즉, VIMA는 다음 흐름을 따른다.

 

현재 관측 이미지 + multimodal prompt
→ prompt encoder
→ robot controller
→ 다음 robot action 예측
→ 환경과 상호작용
→ 다시 다음 action 예측

 

이 구조 덕분에 로봇 task를 자연어 instruction만으로 제한하지 않고, 이미지나 영상처럼 사람이 직관적으로 사용할 수 있는 다양한 지시 방식을 함께 처리할 수 있다.

6. VIMA 아키텍처 개요

 

 

VIMA는 encoder-decoder Transformer 구조를 기반으로 한다. prompt는 pre-trained T5 encoder를 통해 인코딩되고, robot controller는 causal Transformer decoder로 구성된다. decoder는 interaction history를 보면서 prompt representation에 cross-attention하여 다음 action을 예측한다.

전체 구조를 단순화하면 다음과 같다.

 

Multimodal prompt
→ text token + visual object token
→ T5 기반 prompt encoder
→ cross-attention으로 robot controller에 전달
→ observation/action history와 함께 다음 action 예측

 

여기서 중요한 설계는 object-centric representation이다.

VIMA는 이미지를 raw pixel patch로만 다루지 않고, Mask R-CNN을 이용해 장면 속 객체를 분리한 뒤 각 객체를 bounding box와 cropped RGB patch로 표현한다. 이 객체 단위 표현은 ViT와 bounding box encoder를 거쳐 object token이 된다.

 

즉, VIMA의 입력 token은 크게 두 종류이다.

첫째, 텍스트 token이다. 예를 들어 “put”, “into”, “same texture” 같은 단어가 여기에 해당한다.

둘째, visual object token이다. 예를 들어 prompt 안의 객체 이미지, 목표 장면 이미지에서 추출된 객체, 현재 observation 속 객체가 여기에 해당한다.

 

VIMA의 robot controller는 prompt를 한 번 보고 끝내는 것이 아니라, 매 interaction step마다 cross-attention을 통해 prompt 정보를 계속 참조한다. 논문은 이 cross-attention 방식이 prompt와 controller 사이의 연결을 강화하고, 특히 어려운 generalization setting에서 도움이 된다고 설명한다.

7. 데이터셋과 VIMA-Bench

 

 

VIMA는 VIMA-Bench라는 새로운 simulation benchmark를 함께 제안한다.

VIMA-Bench는 Ravens simulator를 확장해 만든 tabletop manipulation benchmark이며, 17개의 task template을 제공한다. 각 task는 다양한 object와 texture 조합을 통해 수천 개의 task instance로 절차적으로 생성될 수 있다.

논문에서 다루는 task category는 크게 여섯 가지이다.

첫째, simple object manipulation이다. 예를 들어 특정 물체를 특정 container에 넣는 작업이다.

둘째, visual goal reaching이다. 목표 장면 이미지처럼 물체를 재배치하는 작업이다.

셋째, novel concept grounding이다. “dax”, “blicket”처럼 처음 보는 단어를 prompt 안의 이미지로 설명하고, 바로 그 개념을 사용해 task를 수행하는 방식이다.

넷째, one-shot video imitation이다. prompt 안에 포함된 영상 프레임을 보고 움직임 순서나 trajectory를 따라 하는 작업이다.

다섯째, visual constraint satisfaction이다. 특정 물체를 건드리지 않거나 특정 영역을 넘지 않는 등 시각적 제약을 지키는 작업이다.

여섯째, visual reasoning이다. 같은 texture, 같은 shape, 이전 위치 기억 등 시각적 관계와 추론이 필요한 작업이다.

학습 데이터는 scripted oracle agent로 생성되며, 논문 본문에서는 task당 50K trajectory, 총 650K successful trajectory를 사용한다고 설명한다. 평가는 binary success criterion을 사용하고, 평균 성공률을 최종 metric으로 사용한다.

평가 프로토콜은 4단계 generalization으로 구성된다.

Level 1은 placement generalization이다. prompt는 학습 때 본 것이지만, 물체 위치가 달라진다.

Level 2는 combinatorial generalization이다. 학습 때 본 object와 texture가 새로운 조합으로 등장한다.

Level 3은 novel object generalization이다. 새로운 object나 texture가 등장한다.

Level 4는 novel task generalization이다. 학습 때 보지 못한 새로운 task template이 등장한다.

8. 실험 결과

VIMA는 VIMA-Gato, VIMA-Flamingo, VIMA-GPT 같은 baseline과 비교된다. 이 baseline들은 Gato, Flamingo, GPT-style decoder-only 구조를 VIMA-Bench에 맞게 변형한 모델들이다.

실험 결과에서 가장 중요한 결론은 object-centric token과 cross-attention prompt conditioning의 조합이 효과적이라는 점이다.

논문은 2M부터 200M parameter까지 다양한 model size에서 비교했으며, 모든 generalization level에서 VIMA가 baseline variant보다 좋은 성능을 보였다고 보고한다. 특히 프로젝트 페이지의 요약에 따르면 VIMA는 hardest zero-shot generalization setting에서 같은 학습 데이터를 사용했을 때 최대 2.9배 높은 task success rate를 보였고, 10배 적은 데이터만 사용해도 가장 좋은 competing variant보다 2.7배 좋은 성능을 보였다.

또한 data scaling 실험에서는 VIMA가 sample-efficient하다는 점이 강조된다. 프로젝트 페이지에 따르면 VIMA는 10배 적은 데이터로도 baseline이 더 많은 데이터로 학습한 경우와 비슷한 성능을 낼 수 있었다.

Ablation study에서도 중요한 결과가 나온다.

첫째, visual tokenizer 비교에서 object token 방식이 image patch, image perceiver, single image embedding보다 좋은 성능을 보였다. 이는 로봇 조작에서는 장면 전체를 raw pixel로 처리하는 것보다, 물체 단위로 구조화해 보는 것이 유리할 수 있음을 보여준다.

둘째, prompt conditioning 방식에서는 cross-attention이 단순히 prompt와 interaction history를 이어 붙이는 decoder-only 방식보다 특히 작은 모델이나 어려운 novel task setting에서 더 유리했다.

셋째, prompt encoder로 사용하는 T5의 크기를 바꾸는 실험에서는 큰 차이가 없었다고 보고한다. 논문은 이를 바탕으로 T5-base를 기본 설정으로 사용한다.

9. 로봇을 공부하는 입장에서 본 의미

VIMA에서 가장 흥미로운 부분은 “로봇 task를 어떻게 표현할 것인가?”라는 문제를 정면으로 다룬다는 점이다.

로봇 learning에서 policy architecture나 action prediction만큼 중요한 문제가 task specification이다. 사람이 원하는 일을 로봇에게 어떻게 알려줄 것인가가 명확하지 않으면, 아무리 강한 policy를 만들어도 범용적으로 쓰기 어렵다.

VIMA는 이 문제에 대해 자연어만으로 해결하려 하지 않는다. 대신 텍스트, 객체 이미지, 목표 장면, 영상 demonstration을 모두 prompt 안에 넣을 수 있게 만든다. 이 관점은 로봇을 위한 “multimodal prompt interface”라고 볼 수 있다.

개발자 관점에서 보면 VIMA의 의미는 세 가지로 정리할 수 있다.

첫째, 다양한 task를 하나의 sequence IO 문제로 통합했다는 점이다. task마다 별도 모델을 만들기보다, prompt 형식만 다르게 주고 같은 agent가 action을 예측하게 만든다.

둘째, object-centric representation이 로봇 조작에 중요하다는 점이다. 로봇 manipulation은 결국 물체의 위치, 모양, 관계를 다루는 문제이기 때문에, scene을 객체 단위로 구조화하는 방식이 raw pixel 처리보다 효율적일 수 있다.

셋째, cross-attention을 통해 prompt와 행동 history를 안정적으로 연결했다는 점이다. 로봇은 한 번 instruction을 읽고 끝나는 것이 아니라, 행동을 수행하는 동안 계속 prompt의 목표와 제약을 참조해야 한다. VIMA의 구조는 이 점을 architecture에 반영한다.

 

따라서 VIMA는 RT-1이나 RT-2처럼 실제 로봇 행동을 직접 제어하는 연구들과는 결이 조금 다르다. VIMA의 핵심은 웹 지식 전이보다는 “로봇 task specification을 multimodal prompt로 일반화하는 방법”에 있다. 이 점에서 이후 multimodal robot foundation model 연구를 이해하는 데 중요한 기준점이 된다.

10. 한계점

VIMA는 중요한 아이디어를 제시하지만, 실제 로봇 현장 적용 관점에서는 몇 가지 한계가 있다.

첫째, 주요 실험이 simulation benchmark 중심이다. VIMA-Bench는 tabletop manipulation을 다양하게 구성했지만, 실제 로봇 환경의 조명 변화, 센서 노이즈, 물체 물성, grasp 실패, 안전 문제까지 모두 반영한다고 보기는 어렵다. 논문도 benchmark의 목표가 multimodal task, generalization, multi-task ability를 탐구하는 데 있다고 설명한다.

둘째, action space가 비교적 제한적이다. VIMA-Bench는 주로 pick-and-place와 wipe 같은 high-level primitive motor skill을 사용한다. 논문 appendix에서도 현재는 이러한 primitive action을 사용하지만, 알고리즘 설계 자체는 더 low-level action space로 확장 가능하다고 설명한다.

셋째, object detector에 의존한다. VIMA는 object-centric token을 사용하기 위해 Mask R-CNN 기반 object detection을 사용한다. 이 방식은 구조적인 장점이 있지만, detector가 실패하거나 실제 환경에서 객체 분할이 어려우면 policy 성능도 영향을 받을 수 있다. 논문은 object augmentation으로 detector 오류에 대한 robustness를 높이려 했다고 설명한다.

넷째, VIMA는 task specification을 잘 통합했지만, 실제 세계의 복잡한 장기 계획이나 고난도 dexterous manipulation까지 해결한 것은 아니다. 논문이 다루는 범위는 tabletop manipulation benchmark이며, household-scale long-horizon task나 산업 현장의 복잡한 조립 작업으로 확장하려면 추가 연구가 필요하다.

 

결론적으로 VIMA는 “로봇이 다양한 형태의 지시를 어떻게 하나의 입력 인터페이스로 이해할 수 있는가?”에 대한 강력한 답을 제시한 논문이다. 자연어, 이미지, 영상 demonstration을 모두 prompt로 표현하고, 이를 Transformer 기반 robot policy에 연결했다는 점에서 로봇 파운데이션 모델의 task interface를 이해하는 데 매우 중요한 연구로 볼 수 있다.

 

논문 링크

[2210.03094] VIMA: General Robot Manipulation with Multimodal Prompts