VC-1: Embodied AI용 시각 표현 모델 평가

1. 논문 정보

• 논문명: Where Are We in the Search for an Artificial Visual Cortex for Embodied Intelligence?
• 대표 모델명: VC-1, Visual Cortex-1
• 학회: NeurIPS 2023 Main Conference Track
• 저자: Arjun Majumdar, Karmesh Yadav, Sergio Arnaud, Jason Ma, Claire Chen, Sneha Silwal, Aryan Jain, Vincent-Pierre Berges, Tingfan Wu, Jay Vakil, Pieter Abbeel, Jitendra Malik, Dhruv Batra, Yixin Lin, Oleksandr Maksymets, Aravind Rajeswaran, Franziska Meier
• 분야: Embodied AI, Visual Representation Learning, Robot Learning, Navigation, Manipulation
• 핵심 키워드: Pre-trained Visual Representation, PVR, CortexBench, VC-1, MAE, ViT, Embodied Intelligence

2. 한 줄 요약

 

VC-1 논문은 embodied AI에서 사용할 수 있는 범용 시각 backbone, 즉 “artificial visual cortex”가 이미 존재하는지 평가하기 위해 CortexBench라는 대규모 benchmark를 만들고, 기존 visual representation들과 새로 학습한 VC-1을 다양한 로봇·내비게이션·조작 task에서 비교한 연구이다.

조금 더 풀어서 말하면, 이 논문은 새로운 학습 기법을 제안하는 논문이라기보다, embodied AI용 visual representation을 어떻게 평가해야 하는가에 초점이 있다.

기존에는 CLIP, R3M, MVP, VIP처럼 이미지를 잘 표현하는 모델들이 각각 다른 benchmark에서 좋은 성능을 보였지만, 이들이 정말 다양한 embodied AI task에 공통적으로 좋은지는 명확하지 않았다. VC-1 논문은 locomotion, navigation, dexterous manipulation, mobile manipulation까지 포함한 17개 task를 모아 CortexBench를 구성하고, 여러 pretrained visual representation을 같은 조건에서 비교한다.

즉, VC-1의 핵심은 다음과 같다.

기존 visual representation 평가
+ CortexBench 구축
+ MAE 기반 ViT visual encoder 학습
+ scaling / adaptation 실험
→ embodied AI용 범용 visual backbone 가능성 검증

3. 왜 이 논문을 읽었는가?

이 논문은 로봇 파운데이션 모델 흐름에서 중요한 질문을 던진다.

“로봇이나 embodied agent가 카메라 입력을 행동으로 바꾸기 위해 사용할 수 있는 범용 시각 표현 모델은 이미 존재할까?”

로봇은 이미지만 보고 끝나는 모델이 아니다. 카메라로 본 장면을 바탕으로 움직이고, 물체를 잡고, 길을 찾고, 목표를 수행해야 한다. 따라서 embodied AI에서 좋은 visual representation은 이미지 분류만 잘해서는 부족하다. 물체의 위치, affordance, 공간 구조, 로봇의 상태 변화, 행동에 필요한 단서까지 담아야 한다.

VC-1 논문은 이 문제를 “artificial visual cortex”라는 표현으로 설명한다. 생물학적 의미의 visual cortex를 그대로 모사하겠다는 뜻은 아니고, computational system에서 카메라 입력을 action으로 연결할 수 있게 해주는 시각 backbone을 의미한다.

이 논문이 중요한 이유는, 특정 task에서 좋은 representation이 아니라 여러 embodied AI task에서 일관되게 유용한 representation이 무엇인지를 본격적으로 비교했기 때문이다.

4. 기존 visual representation 평가 방식의 한계

기존 연구에서는 visual representation을 평가할 때 task 범위가 좁은 경우가 많았다.

예를 들어 R3M은 주로 로봇 manipulation에서, navigation용 representation은 visual navigation에서, CLIP은 language-image alignment에서 강점을 보였다. 문제는 이런 결과들이 서로 다른 dataset, 서로 다른 objective, 서로 다른 downstream task에서 나온 것이기 때문에 직접 비교하기 어렵다는 점이다. VC-1 논문도 기존 PVR 연구들이 서로 다른 SSL algorithm, pretraining dataset, downstream task를 사용해 비교가 어렵다고 지적한다.

이 때문에 다음과 같은 문제가 생긴다.

첫째, 어떤 visual backbone이 embodied AI 전반에 좋은지 판단하기 어렵다.

둘째, 특정 benchmark에서 좋은 결과가 다른 embodied task로도 이어지는지 알기 어렵다.

셋째, 모델 크기나 데이터 크기를 키우면 성능이 정말 보편적으로 좋아지는지 검증하기 어렵다.

VC-1 논문은 이 문제를 해결하기 위해 CortexBench라는 통합 benchmark를 만들고, 같은 평가 프레임에서 여러 pretrained visual representation을 비교한다.

5. VC-1의 핵심 아이디어

VC-1의 핵심 아이디어는 크게 두 가지이다.

첫째, embodied AI용 visual representation은 다양한 sensorimotor task에서 평가해야 한다는 것이다. 논문은 CortexBench를 통해 locomotion, tabletop manipulation, dexterous manipulation, visual navigation, mobile manipulation 등을 하나의 평가 프레임 안에 넣는다. CortexBench는 총 17개 task로 구성되며, Adroit, MetaWorld, DMControl, TriFinger, ObjectNav, ImageNav, MobilePick 같은 benchmark를 포함한다.

둘째, 단순히 데이터와 모델을 크게 만드는 것만으로 universal visual cortex가 생기는지는 검증이 필요하다는 것이다. 논문은 MAE objective를 고정하고, pretraining dataset의 크기와 다양성, visual backbone 크기를 바꿔가며 실험한다. backbone은 ViT-B와 ViT-L을 사용하고, 가장 큰 모델인 VC-1은 Ego4D, manipulation video, navigation video, ImageNet을 합친 Ego4D+MNI dataset으로 학습된다.

전체 흐름은 다음과 같다.

다양한 egocentric video + ImageNet
→ MAE 기반 ViT pretraining
→ VC-1 visual encoder
→ CortexBench 17개 embodied AI task 평가
→ frozen / fine-tuned / MAE adaptation 비교

여기서 중요한 점은 VC-1이 “새로운 architecture”나 “새로운 SSL objective”를 제안한 것이 아니라는 점이다. 논문은 명확히 새로운 기법보다는 체계적인 평가와 분석이 주된 기여라고 설명한다.

6. VC-1 아키텍처 개요

 

VC-1은 Vision Transformer 기반 visual encoder이다. 논문은 MAE, 즉 Masked Auto-Encoding 방식으로 ViT를 사전학습한다. MAE는 이미지 일부를 가리고, 가려진 부분을 복원하도록 학습하는 self-supervised learning 방식이다.

논문 실험에서는 두 가지 backbone 크기를 사용한다.

ViT-B: 86M parameters
ViT-L: 307M parameters

 

가장 큰 모델인 VC-1은 ViT-L backbone을 사용하며, Ego4D+MNI dataset으로 학습된다. 프로젝트 repository에서는 VC-1이 ViT-L 기반 모델이고, VC-1-base가 같은 데이터로 학습된 ViT-B 기반 모델이라고 설명한다.

Downstream task에서는 VC-1을 visual encoder로 사용한다.

카메라 이미지
→ VC-1 visual encoder
→ visual embedding
+ robot proprioception 또는 task-specific input
→ IL/RL policy
→ action 예측

 

7. 데이터셋과 CortexBench

VC-1 논문의 중요한 기여는 CortexBench이다.

CortexBench는 embodied AI용 pretrained visual representation을 평가하기 위한 benchmark로, 총 17개 task를 포함한다. task는 크게 다음 영역을 포괄한다.

첫째, dexterous manipulation이다. Adroit 환경에서 28-DoF hand가 물체를 옮기거나 펜 방향을 바꾸는 task를 수행한다.

둘째, tabletop manipulation이다. MetaWorld 환경에서 Sawyer robot arm이 assembly, bin-picking, button-press, drawer-open, hammer 같은 task를 수행한다.

셋째, locomotion / control이다. DMControl에서 finger-spin, reacher-hard, cheetah-run, walker-stand, walker-walk 같은 task를 평가한다.

넷째, multi-finger manipulation이다. TriFinger 환경에서 cube를 goal 위치로 밀거나 cube에 도달하는 task를 수행한다.

다섯째, visual navigation이다. Habitat 기반 ImageNav와 ObjectNav를 포함한다. ImageNav는 목표 이미지 위치로 이동하는 task이고, ObjectNav는 chair 같은 object category를 찾아가는 task이다.

여섯째, mobile manipulation이다. Habitat 2.0의 MobilePick task에서 Fetch robot이 이동과 조작을 함께 수행한다.

CortexBench의 의의는 단순히 task가 많다는 데 있지 않다. 이 benchmark는 로봇 팔, 손, 이동 로봇, navigation agent처럼 서로 다른 embodiment를 포함하고, imitation learning과 reinforcement learning을 모두 포함한다. 따라서 “이 visual representation이 embodied AI 전반에 좋은가?”를 더 넓게 검증할 수 있다.

8. 실험 결과

가장 중요한 결과는 아직 모든 task에서 지배적인 visual representation은 없었다는 점이다.

기존 pretrained visual representation을 비교했을 때, R3M은 Adroit, MetaWorld, DMControl에서 가장 좋은 성능을 보였고, MVP ViT-L은 TriFinger, ImageNav, MobilePick에서 가장 좋았으며, CLIP은 ObjectNav에서 가장 좋은 결과를 보였다. 즉, 각 모델은 자신이 잘 맞는 domain에서는 강했지만 모든 task를 압도하지는 못했다.

두 번째 결과는 VC-1이 평균적으로 가장 좋은 편이지만, universal winner는 아니라는 점​이다.

VC-1은 mean success 기준으로 MVP ViT-L보다 +1.2점, R3M보다 +10.7점, CLIP보다 +11.7점, scratch fine-tuning보다 +19.6점 높은 성능을 보였다. 하지만 R3M은 여전히 Adroit, MetaWorld, DMControl에서 VC-1보다 좋은 결과를 보였다. 논문은 이 차이의 원인이 pretraining objective, dataset, backbone architecture 중 무엇 때문인지는 명확하지 않다고 설명한다.

세 번째 결과는 scaling은 평균적으로 도움이 되지만, 항상 도움이 되는 것은 아니다​라는 점이다.

모델 크기를 ViT-B에서 ViT-L로 키우면 평균 성능은 대체로 좋아졌고, dataset diversity를 늘리는 것도 평균적으로 도움이 되었다. 특히 navigation data를 추가한 Ego4D+N이 manipulation data를 추가한 Ego4D+M보다 평균 향상이 더 컸고, ImageNet을 추가한 Ego4D+MNI도 평균 성능을 더 높였다. 하지만 benchmark별로 보면 가장 큰 모델이 항상 최고는 아니었다. 예를 들어 MobilePick에서는 Ego4D+M으로 학습한 ViT-L이 가장 좋았고, ImageNav에서는 Ego4D+N으로 학습한 ViT-L이 가장 좋았다.

네 번째 결과는 adaptation이 매우 중요하다는 점이다.

논문은 VC-1을 두 가지 방식으로 adaptation한다.

1. End-to-end fine-tuning
2. MAE adaptation on task-specific data

E2E fine-tuning은 ObjectNav, ImageNav, MobilePick처럼 large-scale IL/RL이 가능한 domain에서 성능을 크게 높였다. 반면 Adroit, MetaWorld, DMControl, TriFinger 같은 few-shot IL domain에서는 오히려 성능이 떨어졌다. 논문은 큰 ViT-L 모델을 작은 dataset으로 fine-tuning하면서 overfitting이 발생했을 가능성을 제시한다.

MAE adaptation은 few-shot domain에서 특히 효과적이었다. 논문은 MAE adaptation 후 Adroit가 59.3에서 72.0, MetaWorld가 88.8에서 96.0, DMControl이 66.9에서 80.9, TriFinger가 71.7에서 80.6으로 개선되었다고 보고한다.

마지막으로 실제 hardware 실험도 진행했다. 논문은 TriFinger 1개 task와 Franka Emika Panda arm 4개 task에서 VC-1을 평가했고, frozen VC-1이 MVP보다 좋은 성능을 보였으며, Franka task에서는 MAE adaptation이 큰 개선을 보였다고 설명한다.

9. 로봇을 공부하는 입장에서 본 의미

VC-1에서 가장 흥미로운 부분은 “로봇을 위한 visual foundation model을 어떻게 판단할 것인가?”라는 문제를 정면으로 다룬다는 점이다.

R3M이 사람 영상에서 로봇 manipulation에 유용한 visual representation을 학습할 수 있음을 보였다면, VC-1은 한 단계 더 나아가 그런 representation이 정말 embodied AI 전반에 범용적인가를 묻는다.

개발자나 연구자 관점에서 보면 VC-1의 의미는 세 가지로 정리할 수 있다.

첫째, 로봇용 visual representation은 단일 manipulation benchmark만으로 평가하면 부족하다. 실제 embodied AI는 물체 조작뿐 아니라 이동, 탐색, 시각적 목표 추론, mobile manipulation까지 포함한다. CortexBench는 이런 넓은 범위를 한 번에 보려는 시도이다.

둘째, “크게 학습하면 다 좋아진다”는 단순한 scaling 관점에 제동을 건다. VC-1은 평균적으로 좋은 모델이지만, 모든 task에서 최고는 아니다. 이는 embodied AI에서는 데이터의 양뿐 아니라 데이터의 종류, embodiment와의 관련성, downstream task와의 domain gap이 중요하다는 점을 보여준다.

셋째, frozen backbone만으로는 부족하고, task/domain adaptation이 핵심이 될 수 있다. 특히 few-shot IL에서는 E2E fine-tuning보다 MAE adaptation이 더 안정적으로 작동했고, large-scale RL/IL에서는 E2E fine-tuning이 더 효과적이었다. 즉, representation을 가져다 쓰는 방식도 task 성격에 맞게 달라져야 한다.

따라서 VC-1은 RT-1, RT-2, VIMA처럼 policy 자체를 일반화하려는 논문이라기보다, embodied AI에서 사용할 visual backbone을 어떻게 평가하고, 어떻게 pretrain/adapt할 것인가​를 다룬 논문이다.

10. 한계점

VC-1은 중요한 기준점을 제시했지만, 몇 가지 한계도 있다.

첫째, VC-1은 평균적으로 강하지만 완전한 universal visual cortex는 아니다. 논문 자체도 VC-1이 모든 benchmark에서 지배적인 모델은 아니며, R3M이 일부 manipulation/control task에서 더 좋은 결과를 보였다고 보고한다.

둘째, CortexBench가 넓은 benchmark이긴 하지만, 실제 세계의 모든 embodied AI 상황을 대표한다고 보기는 어렵다. 산업용 조립, 장기 household task, deformable object manipulation, 안전 제약이 강한 환경 등은 추가적인 검증이 필요하다. 이 부분은 논문에 직접 수치로 증명된 한계라기보다, CortexBench 범위를 바탕으로 한 해석이다.

셋째, VC-1은 기본적으로 visual encoder이다. 즉, language-conditioned planning이나 multimodal prompting을 직접 다루는 VLA 모델은 아니다. 따라서 자연어 지시, 장기 계획, symbolic reasoning까지 해결하는 모델로 보기는 어렵다.

넷째, adaptation 전략이 task마다 달라진다. large-scale IL/RL에서는 E2E fine-tuning이 좋고, few-shot IL에서는 MAE adaptation이 좋은 경향이 있었지만, 새로운 task에서 어떤 adaptation이 최적인지는 별도로 실험해야 한다.

결론적으로 VC-1 논문은 “embodied AI용 범용 시각 표현 모델은 아직 완전히 해결되지 않았고, 이를 평가하려면 넓고 체계적인 benchmark가 필요하다”​는 점을 보여준다. VC-1은 평균적으로 강한 visual backbone이지만, 논문의 더 큰 기여는 VC-1 모델 자체보다도 CortexBench를 통한 평가 관점과 scaling/adaptation에 대한 분석에 있다.

 

* 논문 링크

[2303.18240] Where are we in the search for an Artificial Visual Cortex for Embodied Intelligence?