OpenVLA: An Open-Source Vision-Language-Action Model

1. 논문 정보

• 논문명: OpenVLA: An Open-Source Vision-Language-Action Model
• 저자: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan P. Foster, Pannag R. Sanketi, Quan Vuong, Thomas Kollar, Benjamin Burchfiel, Russ Tedrake, Dorsa Sadigh, Sergey Levine, Percy Liang, Chelsea Finn
• 소속: Stanford University, UC Berkeley, Toyota Research Institute, Google DeepMind, Physical Intelligence, MIT
• 공개: 2024년 6월 arXiv 공개, CoRL 2024 논문 / PMLR 2025 수록
• 분야: Robot Learning, Vision-Language-Action Model, Robot Manipulation, Imitation Learning
• 키워드: OpenVLA, Vision-Language-Action, VLA, Open X-Embodiment, Llama 2, DINOv2, SigLIP, LoRA fine-tuning, Quantization

2. 한 줄 요약

 

OpenVLA는 이미지와 자연어 명령을 입력받아 로봇 action을 직접 예측하는 7B 규모의 오픈소스 Vision-Language-Action 모델이며, Open X-Embodiment 기반의 대규모 로봇 데이터로 학습한 뒤 새로운 로봇 환경에 fine-tuning할 수 있다는 것을 보인 논문이다.

조금 더 풀어서 말하면, 기존의 로봇 policy는 특정 로봇, 특정 환경, 특정 task에 맞춰 따로 학습되는 경우가 많았다. OpenVLA는 이 방식 대신, 인터넷 규모의 vision-language 모델을 기반으로 하고 여기에 다양한 로봇 demonstration을 학습시켜, 여러 로봇과 여러 task에 사용할 수 있는 generalist robot policy를 만들고자 한다.

OpenVLA의 핵심 흐름은 다음과 같다.

카메라 이미지 + 자연어 명령
→ Vision-Language Model backbone
→ action token 예측
→ 연속적인 7차원 로봇 action으로 변환
→ 실제 로봇 제어

 

즉, OpenVLA의 핵심은 다음과 같다.

Open X-Embodiment 로봇 데이터
+ pretrained VLM
→ vision-language-action 모델 사전학습
→ 여러 로봇에서 zero-shot 또는 out-of-the-box 사용
→ 새로운 로봇 setup에서는 LoRA 등으로 fine-tuning

3. 왜 이 논문을 읽었는가?

이 논문은 로봇 파운데이션 모델 흐름에서 중요한 질문을 던진다.

“로봇도 LLM처럼 공개된 foundation model을 가져와서, 내 로봇 환경에 fine-tuning해서 쓸 수 있을까?”

최근 로봇 분야에서는 RT-1, RT-2, RT-X, Octo처럼 다양한 로봇 데이터와 언어 명령을 함께 학습하는 generalist robot policy 연구가 늘고 있다. 하지만 강력한 VLA 모델 중 상당수는 closed-source라서 구조, 학습 데이터, fine-tuning 방법을 직접 확인하거나 재현하기 어렵다. OpenVLA 논문은 기존 VLA 모델들이 공개되어 있지 않고, 새로운 task나 robot setup에 효율적으로 fine-tuning하는 방법도 충분히 연구되지 않았다는 점을 문제로 제시한다.

OpenVLA는 이 문제를 해결하기 위해 모델 checkpoint, Hugging Face 모델, fine-tuning notebook, PyTorch training codebase를 공개했다. 따라서 이 논문은 단순히 성능이 좋은 VLA 모델을 제안한 것이 아니라, 연구자나 개발자가 직접 VLA를 가져와 실험하고 fine-tuning할 수 있는 출발점을 제공했다는 점에서 중요하다.

특히 로봇을 공부하는 입장에서는 “공개 VLA 모델을 실제로 어떻게 fine-tuning하고, 어느 정도 데이터와 GPU가 필요한가?”를 이해하는 데 도움이 된다.

4. 기존 로봇 학습 방식의 한계

기존 vision-based robot manipulation은 보통 특정 task의 image-action 데이터를 수집하고, 그 task에 맞는 policy를 처음부터 학습하는 방식이 많았다.

이 방식에는 몇 가지 문제가 있다.

첫째, 로봇 데이터 수집 비용이 크다. 실제 로봇을 움직여 demonstration을 모아야 하며, task나 환경이 바뀌면 데이터를 다시 수집해야 한다.

둘째, 일반화가 어렵다. 특정 물체, 특정 배경, 특정 카메라 view에서 학습한 policy는 새로운 물체, 새로운 배경, 새로운 언어 명령이 들어오면 성능이 크게 떨어질 수 있다. OpenVLA 논문도 기존 learned policy가 distractor object, novel object, unseen instruction에 약하다는 점을 문제로 제시한다.

셋째, 강력한 VLA 모델이 있어도 대부분 공개되어 있지 않다. 예를 들어 RT-2-X는 55B 규모의 강력한 closed-source VLA 모델이지만, 일반 연구자가 구조와 학습 방법을 자유롭게 분석하거나 fine-tuning하기 어렵다. 논문은 이런 폐쇄성이 VLA 연구 확산의 큰 장애물이라고 본다.

OpenVLA는 이 문제를 “공개된 VLM backbone을 로봇 action 예측 모델로 fine-tuning하고, 모델과 코드까지 공개하자”는 방향으로 접근한다.

5. OpenVLA의 핵심 아이디어

OpenVLA의 핵심 아이디어는 pretrained Vision-Language Model을 로봇 action을 예측하는 Vision-Language-Action Model로 바꾸는 것이다.

기본적으로 VLM은 이미지와 텍스트를 입력받아 다음 text token을 예측한다. OpenVLA는 이 구조를 로봇 제어에 맞게 확장한다. 즉, 자연어 문장을 생성하는 대신 로봇 action을 token처럼 예측하도록 만든다.

이를 위해 OpenVLA는 연속적인 로봇 action을 discrete action token으로 변환한다. 각 action dimension을 256개의 bin으로 나누고, 연속 action 값을 해당 bin의 token으로 매핑한다. 이때 단순 min-max 범위를 사용하는 대신, training data의 1st~99th quantile을 기준으로 bin을 나누어 outlier action의 영향을 줄인다.

학습 과정은 다음과 같이 볼 수 있다.

observation image
+ language instruction
→ VLM 입력
→ action token sequence 예측
→ cross-entropy loss로 action token 학습
→ action token을 다시 continuous action으로 decode

이 방식의 장점은 기존 LLM/VLM 학습 인프라를 거의 그대로 활용할 수 있다는 점이다. 로봇 action을 새로운 회귀 문제로만 보는 것이 아니라, LLM이 잘하는 token prediction 문제로 바꾸는 것이다.

6. OpenVLA 아키텍처 개요

 

OpenVLA는 크게 세 가지 구성 요소로 이루어진다.

Vision Encoder
→ Projector
→ Llama 2 기반 LLM Backbone
→ tokenized robot action 예측

 

첫째, vision encoder는 카메라 이미지에서 visual feature를 추출한다. OpenVLA는 DINOv2와 SigLIP feature를 함께 사용하는 fused visual encoder를 사용한다. 논문은 SigLIP이 semantic feature에 강하고, DINOv2가 spatial reasoning에 도움이 되는 feature를 제공한다고 설명한다. 로봇 조작에서는 물체가 무엇인지뿐 아니라, 어디에 있고 어떻게 움직여야 하는지가 중요하기 때문에 이런 조합이 유용하다.

둘째, projector는 vision encoder에서 나온 image patch embedding을 language model이 이해할 수 있는 embedding space로 변환한다. 이는 최근 VLM에서 흔히 쓰이는 구조로, image patch를 token처럼 취급해 LLM 입력으로 넣는 방식이다.

셋째, LLM backbone은 Llama 2 7B 모델이다. OpenVLA는 이 LLM이 text token이 아니라 action token을 예측하도록 fine-tuning된다. 최종적으로 예측된 action token은 7차원 로봇 제어 action으로 변환된다. 여기서 7차원 action은 보통 end-effector의 x, y, z 이동, roll, pitch, yaw 회전, gripper 제어를 의미한다.

전체 흐름은 다음과 같다.

현재 로봇 카메라 이미지
+ “put the eggplant into the pot” 같은 언어 명령
→ DINOv2 + SigLIP vision encoder
→ projector
→ Llama 2 7B backbone
→ action token 예측
→ 7-DoF robot action 실행

7. 데이터셋과 평가 환경

OpenVLA는 Open X-Embodiment dataset에서 선별한 970k개의 real-world robot manipulation trajectory로 학습되었다. 이 데이터는 다양한 robot embodiment, task, scene을 포함하도록 구성되었고, 여러 로봇에서 out-of-the-box로 동작하거나 새로운 로봇 setup에 fine-tuning될 수 있도록 만드는 것이 목표다.

학습에는 큰 compute가 사용되었다. 논문은 최종 OpenVLA 모델을 64개 A100 GPU cluster에서 14일 동안 학습했으며, 총 21,500 A100-hours를 사용했다고 보고한다. 프로젝트 페이지에서는 64개 A100 GPU로 15일 동안 학습했다고 설명한다. 날짜 차이는 논문 본문과 프로젝트 페이지 표현 차이로 보인다.

평가는 크게 세 방향으로 진행된다.

첫째, 여러 로봇 플랫폼에서 out-of-the-box 성능을 평가한다. 평가 대상은 BridgeData V2의 WidowX robot과 Google Robot이다. 평가 task는 visual generalization, motion generalization, physical generalization, semantic generalization, language conditioning 등을 포함한다. 예를 들어 새로운 배경, distractor object, 새로운 object 위치, 새로운 object 모양, 새로운 instruction에 대해 policy가 잘 동작하는지를 본다.

둘째, 새로운 robot setup에 fine-tuning했을 때의 성능을 평가한다. 논문은 Franka-Tabletop과 Franka-DROID라는 두 setup에서 OpenVLA를 fine-tuning한다. Franka-Tabletop은 고정된 Franka Emika Panda 7-DoF arm을 사용하는 setup이고, Franka-DROID는 DROID dataset 기반의 Franka robot setup이다. 각각 5Hz와 15Hz controller를 사용한다.

셋째, parameter-efficient fine-tuning과 quantization을 평가한다. 즉, OpenVLA처럼 큰 모델을 실제로 fine-tuning하고 inference할 때 GPU memory와 학습 비용을 얼마나 줄일 수 있는지를 실험한다.

8. 실험 결과

가장 중요한 결과는 OpenVLA가 공개 모델이면서도 기존 강력한 generalist robot policy들과 경쟁하거나 더 좋은 성능을 보였다는 점이다.

논문은 OpenVLA가 29개 task와 여러 robot embodiment에서 closed-source RT-2-X보다 평균 absolute success rate를 16.5%p 높였다고 보고한다. RT-2-X는 55B parameter 모델이고 OpenVLA는 7B parameter 모델이므로, OpenVLA는 더 작은 크기로도 강한 성능을 보인 것이다.

다만 모든 영역에서 OpenVLA가 항상 우세한 것은 아니다. 논문은 semantic generalization task에서는 RT-2-X가 더 좋은 성능을 보였다고 설명한다. 그 이유로 RT-2-X가 더 큰 규모의 인터넷 pretraining data를 사용하고, robot action data와 internet data를 함께 fine-tuning해 pretrained knowledge를 더 잘 유지했을 가능성을 언급한다.

fine-tuning 실험에서는 OpenVLA가 새로운 Franka robot setup에서도 좋은 성능을 보였다. 논문은 task당 10~150개의 demonstration을 사용해 OpenVLA를 fine-tuning했고, Diffusion Policy, Octo, OpenVLA scratch와 비교했다. 결과적으로 OpenVLA는 전체 평균 성능에서 가장 높은 성능을 보였고, 모든 테스트 task에서 최소 50% 이상의 성공률을 달성한 유일한 방법으로 보고된다.

흥미로운 점은 Diffusion Policy와 OpenVLA의 강점이 다르게 나타났다는 것이다. Diffusion Policy는 좁고 정밀한 single-instruction task에서는 강했다. 반면 OpenVLA와 Octo 같은 pretrained generalist policy는 여러 object와 여러 instruction이 포함되어 language grounding이 중요한 task에서 더 강한 경향을 보였다.

또 하나 중요한 결과는 LoRA fine-tuning이다. full fine-tuning은 task당 8개 A100 GPU에서 5~15시간이 필요했다. 반면 LoRA는 전체 parameter의 약 1.4%만 학습하면서 full fine-tuning과 거의 비슷한 성능을 보였다. 논문 표에서 full fine-tuning은 69.7% success rate, LoRA rank 32와 rank 64는 각각 68.2% success rate를 기록했다.

즉, OpenVLA에서 LoRA는 다음과 같은 의미를 가진다.

full fine-tuning에 가까운 성능
+ 훨씬 적은 trainable parameter
+ 단일 A100 GPU에서도 fine-tuning 가능
→ 공개 VLA 모델을 실제로 가져다 쓰기 쉬워짐

 

inference 측면에서는 quantization 실험도 중요하다. 논문은 bfloat16, int8, int4 inference를 비교했다. int4 quantization은 bfloat16과 비슷한 성공률을 유지하면서 VRAM 사용량을 16.8GB에서 7.0GB로 줄였다. 반면 int8은 inference 속도가 느려져 실제 rollout 성능이 낮아졌다고 분석한다.

9. 로봇을 공부하는 입장에서 본 의미

OpenVLA에서 가장 흥미로운 부분은 “로봇 policy도 LLM처럼 공개 모델을 가져와 fine-tuning하는 방식으로 발전할 수 있다”는 가능성을 보여준다는 점이다.

기존에는 로봇 task를 해결하려면 직접 데이터를 모으고, 그 task에 맞는 policy를 처음부터 학습하는 흐름이 일반적이었다. OpenVLA는 다양한 robot demonstration으로 사전학습한 VLA를 가져와서, 새로운 로봇 환경에는 비교적 적은 demonstration으로 fine-tuning하는 방향을 제시한다.

개발자나 연구자 관점에서 보면 OpenVLA의 의미는 세 가지로 정리할 수 있다.

첫째, 공개 VLA baseline을 제공한다. RT-2-X 같은 강력한 모델은 closed-source라 직접 실험하기 어렵지만, OpenVLA는 모델 checkpoint와 codebase가 공개되어 있어 구조 분석, fine-tuning, 재현 실험이 가능하다.

둘째, language grounding이 중요한 manipulation task에서 pretrained VLA의 장점을 보여준다. 단순히 “물체를 잡는다”가 아니라, 여러 물체 중 언어 명령에 맞는 물체를 고르고 올바른 관계를 수행해야 하는 task에서는 vision-language pretraining과 robot data pretraining이 도움이 된다.

셋째, 실제 fine-tuning 비용을 줄이는 방법을 함께 제시한다. OpenVLA는 단순히 큰 모델을 공개한 데서 끝나지 않고, LoRA fine-tuning과 int4 quantization을 통해 학습과 inference 비용을 줄이는 방법까지 실험했다. 이 점에서 “논문 속 모델”이 아니라, 실제로 downstream robot task에 적용할 수 있는 모델을 지향한다고 볼 수 있다.

따라서 OpenVLA는 R3M처럼 visual representation만 제공하는 모델과는 다르다. R3M은 frozen visual encoder를 downstream policy에 붙이는 방식에 가깝다면, OpenVLA는 이미지와 언어 명령을 입력받아 action 자체를 직접 생성하는 end-to-end VLA policy에 가깝다.

10. 한계점

OpenVLA는 중요한 결과를 보였지만, 몇 가지 한계도 있다.

첫째, 현재 OpenVLA는 single-image observation만 지원한다. 실제 로봇 환경에서는 여러 카메라, proprioception, force/torque sensor, observation history 등이 중요할 수 있다. 논문도 multiple image, proprioceptive input, observation history를 지원하는 방향을 future work로 제시한다.

둘째, inference 속도가 아직 충분히 빠르지 않다. 논문은 OpenVLA가 bfloat16 기준 RTX 4090에서 약 6Hz로 동작한다고 보고한다. 하지만 ALOHA처럼 50Hz 제어가 필요한 고주파 로봇 작업에는 부족할 수 있다. 저자들은 action chunking, speculative decoding 같은 inference-time optimization이 필요하다고 언급한다.

셋째, 성공률이 아직 산업용 수준으로 매우 높다고 보기는 어렵다. 논문은 OpenVLA가 기존 generalist policy보다 강하지만, 테스트 task에서 일반적으로 90% 이상의 매우 높은 신뢰도에 도달한 것은 아니라고 설명한다. 따라서 실제 현장 적용에는 safety layer, task-specific data, failure recovery, 더 안정적인 control pipeline이 추가로 필요할 가능성이 높다.

넷째, 완전히 새로운 robot embodiment에 zero-shot으로 일반화된다고 보기는 어렵다. Hugging Face model card에서도 pretraining mixture에 포함된 robot/domain 조합에서는 out-of-the-box 사용이 가능하지만, unseen robot embodiment나 setup에는 demonstration을 수집해 fine-tuning하는 것을 권장한다고 설명한다.

결론적으로 OpenVLA는 “공개 VLA 모델을 기반으로 로봇 manipulation policy를 만들고, 새로운 task에 fine-tuning할 수 있다”는 것을 실험적으로 보여준 논문이다. 로봇 파운데이션 모델 흐름에서 closed-source VLA 중심의 한계를 줄이고, 연구자가 직접 실험할 수 있는 open-source baseline을 제공했다는 점에서 의미가 크다.

 

* 논문 링크

[2406.09246] OpenVLA: An Open-Source Vision-Language-Action Model