R3M: 사람 영상 기반 visual representation

1. 논문 정보

• 논문명: R3M: A Universal Visual Representation for Robot Manipulation
• 저자: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta
• 소속: Stanford University, Meta AI
• 공개: 2022년 3월 arXiv 공개, CoRL 논문 / PMLR 2023 수록
• 분야: Robot Learning, Visual Representation Learning, Imitation Learning, Robot Manipulation
• 키워드: R3M, Human Video, Ego4D, Visual Representation, Robot Manipulation, Behavior Cloning

2. 한 줄 요약

 

R3M은 대규모 사람 행동 영상인 Ego4D를 이용해 미리 학습한 visual representation을 로봇 조작 policy의 frozen perception module로 사용하면, 적은 로봇 demonstration만으로도 다양한 manipulation task를 더 잘 학습할 수 있다는 것을 보인 논문이다.

조금 더 풀어서 말하면, 기존 로봇 학습은 특정 로봇, 특정 환경, 특정 task에서 수집한 데이터를 바탕으로 end-to-end policy를 학습하는 경우가 많았다. R3M은 이 방식 대신, 로봇 데이터가 아니라 사람이 일상 환경에서 물체와 상호작용하는 영상을 이용해 먼저 시각 표현을 학습한다.

이렇게 학습된 encoder는 downstream robot task에서 raw image를 바로 쓰는 대신, 이미지에서 조작에 유용한 feature를 뽑아내는 모듈로 사용된다.

즉, R3M의 핵심은 다음과 같다.

사람 행동 영상 + 언어 설명
→ visual representation 사전학습
→ 로봇 manipulation task에서 frozen encoder로 재사용
→ 적은 demonstration으로 behavior cloning 학습

 

3. 왜 이 논문을 읽었는가?

이 논문은 로봇 파운데이션 모델 흐름에서 중요한 질문을 던진다.

“로봇 데이터가 부족하다면, 사람이 물체를 다루는 대규모 영상에서 로봇 조작에 필요한 시각 표현을 배울 수 있을까?”

로봇 manipulation에서는 데이터를 모으는 비용이 매우 크다. 실제 로봇을 움직이며 데이터를 수집해야 하고, 실패도 많고, 환경도 쉽게 바뀐다. 반면 사람 영상은 훨씬 풍부하다. 사람이 요리하고, 물건을 집고, 정리하고, 조립하는 영상은 물체의 상태 변화, 손과 물체의 관계, 작업의 의미를 담고 있다.

R3M은 이런 human video가 로봇과 embodiment는 다르지만, 물체 중심의 상호작용 구조는 공유할 수 있다고 본다. 논문은 Ego4D 같은 다양한 사람 영상 데이터로 학습한 visual representation이 downstream robot manipulation에 도움이 되는지를 실험적으로 검증한다.

4. 기존 로봇 학습 방식의 한계

기존 vision-based robot manipulation은 보통 현재 task의 이미지와 action 데이터를 가지고 policy를 처음부터 학습한다.

이 방식에는 몇 가지 문제가 있다.

첫째, 데이터가 많이 필요하다. 로봇이 직접 환경과 상호작용하며 수집한 데이터는 비용이 크고, task나 환경이 바뀌면 다시 수집해야 한다.

둘째, 일반화가 어렵다. 특정 실험실, 특정 카메라 viewpoint, 특정 물체 배치에서 학습한 표현은 새로운 환경이나 새로운 task로 옮겨가기 어렵다.

셋째, raw pixel에서 바로 control policy를 학습하면 sample efficiency가 낮다. 이미지 안에는 배경, 조명, 카메라 위치처럼 task와 무관한 정보도 많기 때문이다.

R3M은 이 문제를 “좋은 visual representation을 먼저 학습하고, downstream policy는 그 representation 위에서 학습하자”는 방향으로 접근한다. 논문은 robotics에서 ImageNet이나 BERT처럼 쉽게 가져다 쓸 수 있는 범용 사전학습 표현이 부족하다는 점을 문제의식으로 제시한다.

5. R3M의 핵심 아이디어

R3M의 핵심 아이디어는 사람이 물체와 상호작용하는 영상에서 로봇 조작에 필요한 시각 표현을 미리 학습한다는 것이다.

논문은 좋은 robot manipulation representation이 세 가지 특성을 가져야 한다고 본다.

첫째, temporal dynamics를 담아야 한다. 로봇 조작은 한 장면을 보는 문제가 아니라, 행동에 따라 상태가 어떻게 바뀌는지를 이해해야 하는 순차 의사결정 문제이기 때문이다.

둘째, semantic relevance를 담아야 한다. 예를 들어 “apple을 plate 위에 놓는 장면”에서는 배경보다 apple, plate, 두 물체의 관계가 중요하다.

셋째, compact representation이어야 한다. 저차원이고 sparse한 표현은 imitation learning에서 state distribution shift를 줄이는 데 도움이 될 수 있다고 본다.

이를 위해 R3M은 세 가지 학습 요소를 결합한다.

Time-contrastive learning
+ Video-language alignment
+ L1/L2 regularization
→ R3M visual representation

 

논문은 이 세 요소를 통해 시간적 변화, 언어적으로 중요한 의미 정보, compact한 feature를 함께 학습하려 한다.

6. R3M 아키텍처 개요

 

R3M은 기본적으로 image encoder이다. 논문 실험에서는 주로 ResNet50을 사용하며, 공개 모델로 ResNet18, ResNet34, ResNet50 기반 R3M을 제공한다.

전체 흐름은 다음과 같다.

Ego4D human video frame
→ image encoder fθ
→ visual embedding
→ temporal / language / sparsity objective로 사전학습

 

Downstream robot task에서는 다음처럼 사용된다.

현재 카메라 이미지
→ pretrained R3M encoder
→ visual embedding
+ robot proprioception
→ behavior cloning policy
→ robot action 예측

 

여기서 중요한 점은 R3M encoder를 downstream task에서 새로 학습하지 않고, frozen perception module로 사용한다는 점이다. 즉, robot policy는 이미지 전체를 처음부터 해석하는 대신, R3M이 뽑아낸 visual feature를 입력으로 받는다. 논문은 downstream policy를 behavior cloning으로 학습하고, visual embedding과 robot proprioception 정보를 결합해 action을 예측한다.

R3M 학습 objective는 크게 다음 세 가지이다.

첫째, time-contrastive learning이다. 같은 영상 안에서 시간적으로 가까운 frame들은 embedding space에서 가깝게, 멀리 떨어진 frame이나 다른 영상의 frame은 멀게 만든다. 이를 통해 물체 상태 변화와 상호작용의 흐름을 반영하려 한다.

둘째, video-language alignment이다. 영상 clip에 붙은 자연어 설명을 이용해, 이미지 embedding이 “무엇을 하고 있는지”와 관련된 semantic feature를 담도록 학습한다. 예를 들어 “putting the apple on the plate”라는 설명이 있다면 apple, plate, 두 물체의 상태 변화가 representation에 반영되도록 유도한다.

셋째, L1/L2 regularization이다. 표현을 sparse하고 compact하게 만들어, 적은 demonstration으로 behavior cloning을 할 때 불필요한 feature에 과적합되는 것을 줄이려 한다.

7. 데이터셋과 평가 환경

R3M은 사전학습 데이터로 Ego4D를 사용한다. Ego4D는 사람이 일상 환경에서 다양한 행동을 수행하는 egocentric video dataset이며, 논문은 이 데이터가 70개 이상의 지역에서 수집된 3,500시간 이상의 영상을 포함한다고 설명한다. 각 video clip에는 사람 행동을 설명하는 자연어 annotation도 포함된다.

평가는 크게 simulation과 real-world robot experiment로 구성된다.

Simulation 환경은 세 가지이다.

첫째, MetaWorld이다. ring assembly, block pick-and-place, button push, drawer open, hammering 같은 Sawyer 기반 manipulation task가 포함된다.

둘째, Franka Kitchen이다. kitchen 환경에서 sliding door 열기, left door 열기, light 켜기, stove knob 돌리기, microwave 열기 같은 task를 수행한다.

셋째, Adroit이다. dexterous manipulation 환경으로, pen reorientation과 ball relocation task가 포함된다.

논문은 총 12개 simulation task, 3개 환경, 여러 camera viewpoint에서 R3M을 평가한다. 중요한 점은 이 환경들은 R3M 사전학습 때 사용되지 않고, downstream evaluation에서만 사용된다는 것이다.

8. 실험 결과

가장 중요한 실험 결과는 R3M이 low-data imitation learning에서 기존 visual representation보다 좋은 성능을 보였다는 점이다.

논문은 R3M이 12개 simulation task에서 scratch training보다 20%p 이상, CLIP이나 MoCo 같은 기존 representation보다 10%p 이상 높은 성공률을 보였다고 보고한다.

또한 ablation study에서는 R3M의 구성 요소들이 모두 중요하다는 점을 보인다. 전체 R3M의 평균 성공률은 62.4%였고, crop augmentation 제거 시 60.4%, L1 regularization 제거 시 59.4%, language alignment 제거 시 53.2%로 떨어졌다. 특히 language alignment를 제거했을 때 성능 하락이 가장 컸다. 이는 로봇 manipulation에서 단순한 시간적 변화뿐 아니라, 언어 설명을 통해 학습되는 semantic feature가 중요하다는 것을 시사한다.

Real-world 실험도 중요하다. 논문은 Franka Emika Panda 로봇을 실제 cluttered apartment 환경에 배치하고, task당 20개의 demonstration만으로 household manipulation task를 학습시켰다. 실험 task는 drawer 닫기, face mask를 drawer에 넣기, lettuce를 pan에 넣기, mug를 목표 위치로 밀기, towel 접기이다.

Real-world 결과에서 R3M은 평균 56% 성공률을 보였고, CLIP은 평균 24% 성공률을 보였다. 특히 lettuce를 pan에 넣기와 towel 접기 같은 task에서 CLIP은 0%였지만, R3M은 각각 60%, 40%를 기록했다.

9. 로봇을 공부하는 입장에서 본 의미

R3M에서 가장 흥미로운 부분은 로봇 조작을 위한 representation을 꼭 로봇 데이터로만 배워야 하는가?라는 질문에 다른 답을 제시했다는 점이다.

이 논문은 사람 영상이 로봇 action label을 직접 제공하지 않더라도, 물체와 환경의 상호작용 구조를 담고 있기 때문에 robot manipulation에 유용한 visual prior가 될 수 있음을 보여준다.

개발자나 연구자 관점에서 보면 R3M의 의미는 세 가지로 정리할 수 있다.

첫째, 로봇 학습에서 pretrained visual encoder의 중요성을 보여준다. 특히 적은 demonstration으로 behavior cloning을 해야 하는 상황에서는 raw pixel에서 policy를 처음부터 학습하는 것보다, 좋은 representation을 사용하는 것이 훨씬 효율적일 수 있다.

둘째, human video data의 가능성을 보여준다. 로봇 데이터는 비싸지만 사람 영상은 훨씬 풍부하다. R3M은 이 데이터를 robot learning에 활용할 수 있는 구체적인 방법을 제시했다.

셋째, CLIP 같은 일반 vision-language representation이 항상 robot manipulation에 최적인 것은 아니라는 점을 보여준다. R3M은 언어를 사용하지만, 단순히 image-text matching을 하는 것이 아니라 시간적 변화와 조작 관련 의미를 함께 학습한다. 이 점에서 R3M은 “로봇 조작에 맞춘 visual representation”이라고 볼 수 있다.

따라서 R3M은 RT-1, RT-2, VIMA처럼 policy 자체를 generalist하게 만드는 연구와는 결이 조금 다르다. R3M의 핵심은 policy가 아니라 perception representation을 범용화하는 것이다.

10. 한계점

R3M은 중요한 결과를 보였지만, 몇 가지 한계도 있다.

첫째, downstream 학습은 주로 imitation learning, 특히 behavior cloning에 초점을 둔다. 논문도 reinforcement learning 등 다른 robot learning setting에서 R3M이 동일하게 효과적인지는 추가 연구가 필요하다고 언급한다.

둘째, R3M은 기본적으로 single-frame state representation을 제공한다. 로봇 조작은 시간적 history가 중요한 경우가 많은데, R3M 자체가 sequence model로 작동하는 것은 아니다. 논문도 이 점을 future work로 언급한다.

셋째, 사람 영상과 로봇 영상 사이에는 embodiment gap이 있다. 사람 손과 로봇 gripper는 형태도 다르고, 가능한 action도 다르다. R3M은 visual representation 수준에서는 도움이 된다는 것을 보였지만, 사람 행동을 로봇 action으로 직접 변환하는 문제까지 해결한 것은 아니다.

넷째, real-world 실험은 의미 있지만 task 수와 trial 수가 제한적이다. 실제 산업 현장이나 복잡한 가정 환경에서 안정적으로 쓰기 위해서는 더 다양한 물체, 조명, 실패 상황, 장기 task에 대한 검증이 필요하다.

결론적으로 R3M은 “사람이 물체를 다루는 대규모 영상에서 로봇 조작에 유용한 시각 표현을 배울 수 있다”는 것을 실험적으로 강하게 보여준 논문이다. 로봇 파운데이션 모델 흐름에서 policy scaling 이전에, perception representation을 어떻게 사전학습할 것인지 이해하는 데 중요한 기준점이 된다.

 

* 논문 링크

[2203.12601] R3M: A Universal Visual Representation for Robot Manipulation