PaLM-E: LLM은 어떻게 이미지와 로봇 상태를 이해할까?

1. 논문 정보

• 논문명: PaLM-E: An Embodied Multimodal Language Model
• 저자: Danny Driess et al.
• 소속: Robotics at Google, TU Berlin, Google Research
• 공개: 2023년 arXiv 공개, ICML 2023 / PMLR 게재
• 분야: Robotics, Artificial Intelligence, Multimodal Learning, Vision-Language Model, Embodied AI
• 키워드: PaLM-E, Embodied Language Model, Multimodal LLM, Robot Planning, Grounding, Vision-Language, PaLM

2. 한 줄 요약

 

PaLM-E는 이미지, 로봇 상태, 3D 장면 표현 같은 embodied 정보를 LLM의 language embedding space에 토큰처럼 넣어,

하나의 모델이 VQA, captioning, robot planning을 함께 수행하도록 만든 embodied multimodal language model이다.

 

조금 더 풀어서 말하면, 기존 LLM은 텍스트 토큰만 입력으로 받는다. PaLM-E는 여기에 <img> 같은 위치를 만들고, 실제 이미지를 인코더로 벡터화한 뒤 LLM의 텍스트 임베딩과 같은 차원의 벡터로 변환해 끼워 넣는다. 그래서 LLM 입장에서는 텍스트 사이에 이미지나 로봇 상태 정보가 “연속형 토큰”처럼 들어오는 구조가 된다.

 

3. 왜 이 논문을 읽었는가?

최근 로봇 분야에서는 단순히 “로봇 팔을 어떻게 움직일까?”보다, "로봇이 사람의 자연어 지시를 이해하고 현재 상황을 보고 스스로 다음 행동을 계획할 수 있을까?"라는 질문이 중요해지고 있다.

기존 LLM은 언어 추론 능력이 뛰어나지만, 실제 로봇 환경에서는 텍스트만으로는 부족하다. 예를 들어 “서랍 안의 과자를 가져와”라는 명령을 수행하려면, 로봇은 현재 서랍이 열려 있는지, 과자가 보이는지, 손이 닿는 위치에 있는지 같은 시각적·물리적 정보를 알아야 한다.

SayCan 같은 이전 접근은 LLM의 출력을 로봇 affordance와 연결했지만, LLM 자체는 주로 텍스트 입력을 받는 구조였다. PaLM-E는 여기서 한 걸음 더 나아가, 로봇의 관측 정보를 LLM 내부 입력으로 직접 넣는 방식을 제안한다. 논문에서도 텍스트만 입력받는 LLM은 공간 배치가 중요한 로봇 작업에서 한계가 있다고 설명한다.

 

4. 기존 LLM / 로봇 모델의 한계

기존 LLM은 대규모 텍스트 데이터로 학습되어 복잡한 추론이나 대화에는 강하지만, 실제 세계와 연결되는 grounding 문제가 있다. 여기서 grounding은 단어가 실제 물체, 위치, 상태, 행동과 연결되는 것을 의미한다.

예를 들어 LLM은 “컵을 집어라”라는 문장의 의미는 알 수 있지만, 현재 카메라 화면에서 어떤 물체가 컵인지, 컵이 왼쪽에 있는지 오른쪽에 있는지, 로봇 팔이 먼저 장애물을 치워야 하는지는 텍스트만으로 알 수 없다.

또한 일반적인 vision-language model은 이미지 설명이나 VQA에는 강하지만, 로봇이 실제로 행동해야 하는 embodied reasoning 문제를 바로 해결하기에는 부족하다. 논문은 일반 VQA·captioning 모델만으로는 로봇 추론 문제를 직접 풀기 어렵다고 보고, 이를 해결하기 위해 embodied observation을 LLM 입력에 직접 주입하는 방식을 제안한다.

 

5. PaLM-E의 핵심 아이디어

PaLM-E의 핵심은 multimodal sentence이다.

일반 문장이 다음과 같은 토큰 시퀀스라면,

Q: How to grasp the blue block?

 

PaLM-E에서는 중간에 이미지나 상태 정보가 들어간다.

Given <img> Q: How to grasp the blue block?

 

여기서 <img>는 실제 문자 토큰이 아니라, 이미지 인코더가 만든 연속 벡터들로 대체된다. 즉, 이미지를 ViT나 다른 인코더로 처리한 뒤, LLM의 텍스트 임베딩 차원과 맞춰서 텍스트 토큰 사이에 삽입한다. 논문은 이 방식을 통해 이미지, 상태 추정값, 3D scene representation 등을 LLM의 embedding space에 주입한다고 설명한다.

이 점이 중요하다. PaLM-E는 이미지와 텍스트를 마지막에 단순히 결합하는 방식이 아니라, LLM이 원래 처리하던 token sequence 안에 embodied 정보를 직접 넣는다. 그래서 LLM은 텍스트 문맥과 시각·상태 정보를 함께 보고 다음 텍스트를 생성한다.

출력은 로봇의 모터 값을 직접 내는 것이 아니라, 보통 텍스트 형태의 답변이나 계획이다. 로봇 제어 작업에서는 PaLM-E가 “서랍으로 이동하기 → 서랍 열기 → 과자 집기 → 사용자에게 가져가기” 같은 high-level instruction을 만들고, 실제 움직임은 별도의 low-level policy가 수행한다. 논문도 PaLM-E를 low-level policy들을 순서화하고 제어하는 high-level policy로 설명한다.

 

6. PaLM-E 아키텍처 개요

PaLM-E의 구조를 단순화하면 다음과 같다.

텍스트 프롬프트
+ 이미지 / 로봇 상태 / 3D scene representation
→ modality encoder
→ LLM embedding 차원으로 projection
→ multimodal sentence 구성
→ decoder-only PaLM
→ 텍스트 답변 또는 로봇 행동 계획
→ low-level policy가 실제 로봇 행동 수행

 

입력 인코더는 여러 종류가 사용된다.

첫째, state estimation vector이다. 물체의 위치, 크기, 색상 같은 상태 정보를 벡터로 만들고, MLP를 통해 LLM embedding space로 보낸다.

둘째, ViT 기반 이미지 인코더이다. 카메라 이미지를 Vision Transformer로 처리한 뒤, 필요한 경우 projection layer를 통해 LLM의 임베딩 차원과 맞춘다.

셋째, OSRT(Object Scene Representation Transformer)이다. 이는 장면을 객체 중심의 3D-aware representation으로 표현하려는 방식이다. 로봇 작업에서는 단순히 이미지 전체를 보는 것보다 “어떤 물체들이 있고, 그 물체들이 어떤 관계를 갖는가”가 중요하기 때문에 object-centric representation이 도움이 될 수 있다.

PaLM-E 모델 크기는 PaLM과 ViT 조합에 따라 나뉜다. 예를 들어 8B PaLM + 4B ViT는 PaLM-E-12B, 62B PaLM + 22B ViT는 PaLM-E-84B, 540B PaLM + 22B ViT는 PaLM-E-562B로 부른다.

 

 

7. 데이터셋

PaLM-E는 로봇 데이터만 학습한 모델이 아니다. 논문에서 중요한 부분은 로봇 데이터와 일반 vision-language 데이터를 함께 학습했다는 점이다.

로봇 관련 데이터로는 크게 세 가지 환경이 사용된다.

1. TAMP 환경
   - 물체를 집고 쌓는 task and motion planning 문제

2. Language-Table 환경
   - 테이블 위의 블록을 자연어 지시에 따라 이동시키는 문제

3. Mobile Manipulation 환경
   - 실제 주방 환경에서 이동 로봇이 서랍을 열고 물체를 가져오는 문제

 

여기에 WebLI, VQAv2, OK-VQA, COCO, Wikipedia text 같은 일반 vision-language / language 데이터가 함께 들어간다. 논문의 full mixture에서는 일반 vision-language 데이터가 대부분을 차지하고, robot data는 10% 미만이라고 설명한다. 구체적으로 Appendix의 데이터 mixture 표에서는 robot data 비율이 Mobile Manipulator 3.1%, Language Table 4.2%, TAMP 1.6%로 제시된다.

이 부분이 흥미롭다. PaLM-E는 로봇 데이터만 많이 모아서 학습한 것이 아니라, 일반 이미지-언어 데이터에서 배운 지식을 로봇 planning에 전이하려고 한다.

 

8. 실험 결과

PaLM-E의 실험 결과에서 가장 중요한 메시지는 두 가지다.

첫째, full mixture 학습이 로봇 planning 성능을 높인다.
논문은 TAMP, Language-Table, Mobile Manipulation 세 도메인에서 full mixture 학습이 각 도메인 데이터만 사용한 경우보다 성능을 높이는 transfer 효과를 보였다고 설명한다.

둘째, 입력 표현 방식이 중요하다.
TAMP 환경에서는 state vector, ViT, OSRT 같은 입력 표현을 비교한다. Table 1에서 ViT-4B를 single robot 데이터로 학습했을 때보다 full mixture로 학습했을 때 planning 성능이 크게 올라간다. 또한 OSRT는 object-centric하고 3D-aware한 scene representation을 사용해 좋은 성능을 보인다.

논문에서는 PaLM-E-12B 기준으로 TAMP planning에서 full mixture, pretraining, LLM freezing 여부를 비교한다. Figure 3에 따르면 full mixture와 pretraining의 효과가 크고, 특히 full mixture로 학습한 모델이 single robot 데이터만 사용한 경우보다 높은 planning 성공률을 보인다.

실제 로봇 예시도 중요하다. PaLM-E가 실제 kitchen mobile manipulation task에서 “bring me the rice chips from the drawer” 같은 긴 작업을 여러 단계로 나누어 수행하는 모습을 보여준다. 중간에 사람이 물체를 다시 서랍 안으로 밀어 넣는 disturbance가 있어도, PaLM-E가 다시 관측하고 다음 행동을 계획하는 흐름을 보여준다.

일반 vision-language task에서도 성능을 확인한다. PaLM-E-562B는 generalist model 하나로 VQAv2, OK-VQA, COCO captioning 평가를 수행하며, 논문 기준 OK-VQA에서 강한 성능을 보인다. 단, 여기서 말하는 “최고 성능”은 논문 발표 당시 보고된 결과 기준으로 보는 것이 안전하다.

또 하나 흥미로운 점은 모델 크기와 catastrophic forgetting의 관계다. 작은 모델은 multimodal training 이후 기존 language generation 성능 저하가 컸지만, 가장 큰 PaLM-E-562B는 성능 저하가 훨씬 작았다. 논문은 모델 scale이 커질수록 기존 언어 능력을 더 잘 유지한다고 해석한다.

 

9. 로봇을 공부하는 입장에서 본 의미

PaLM-E에서 가장 중요한 점은 로봇 제어를 완전히 end-to-end action prediction으로만 보지 않았다는 것이다. 대신 PaLM-E는 LLM을 high-level planner처럼 사용하고, 실제 물리적 제어는 low-level policy가 담당한다.

이 구조는 실제 로봇 시스템을 설계할 때 의미가 있다. 로봇은 단순히 “정답 텍스트”를 내는 모델이 아니라, 실제 환경에서 계속 관측하고, 현재 상태에 맞게 계획을 수정해야 한다. PaLM-E는 이미지나 상태 정보를 LLM 입력에 직접 넣고, LLM이 다음 high-level action을 생성하게 한다. 이후 low-level policy가 그 명령을 실제 움직임으로 바꾼다.

즉, PaLM-E는 다음과 같은 방향을 보여준다.

LLM = 언어 추론기
VLM = 이미지 이해기
Robot policy = 행동 실행기

 

이 셋을 따로 보는 것이 아니라,

Embodied Multimodal LLM = 보고, 이해하고, 계획하는 high-level robot brain

 

으로 확장할 수 있다는 가능성을 보여준다.

특히 개발자 관점에서는 PaLM-E의 출력이 텍스트 기반 high-level instruction이라는 점이 중요하다. 로봇이 바로 joint torque나 velocity를 출력하는 것보다, “서랍으로 이동”, “서랍 열기”, “과자 집기” 같은 단계로 출력하면 사람이 중간 과정을 이해하기 쉽고, 기존 low-level controller와도 연결하기 쉽다.

 

10. 한계점

PaLM-E에도 한계는 있다.

첫째, PaLM-E는 low-level policy에 의존한다. 논문에서도 예시로, low-level policy가 “바나나 껍질 벗기기”를 수행할 수 없다면 PaLM-E가 아무리 좋은 high-level instruction을 생성해도 실제 작업을 해결하기 어렵다고 설명한다. 즉, PaLM-E는 모든 로봇 행동을 직접 학습한 만능 제어기가 아니다.

둘째, 출력이 주로 텍스트라는 점도 한계가 될 수 있다. 특정 장면의 매우 세밀한 위치나 물체의 특정 부분을 말로 설명하기 어려운 경우, 텍스트 instruction만으로 low-level policy에 정확히 전달하기 어렵다. 논문은 이를 완화하기 위해 object-centric token이나 entity labeling 같은 아이디어를 언급한다.

셋째, LLM과 vision-language model의 위험을 그대로 가진다. hallucination, non-factual answer, bias 문제가 있을 수 있고, 로봇과 연결될 경우 물리적 시스템의 행동에 영향을 주기 때문에 추가적인 안전성 평가가 필요하다. 논문도 실제 물리 시스템에 적용할 때는 risk assessment가 필요하다고 설명한다.

따라서 PaLM-E는 “바로 가져다 쓰는 범용 로봇 두뇌”라기보다는, LLM에 embodied 정보를 어떻게 넣고, 이를 로봇 planning과 연결할 수 있는지 보여준 중요한 기준점으로 보는 것이 좋다.

 

* 논문 링크

[2303.03378] PaLM-E: An Embodied Multimodal Language Model