Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware / ALOHA: 저비용 양팔 로봇과 ACT

1. 논문 정보

• 논문명: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
• 시스템명: ALOHA, A Low-cost Open-source Hardware System for Bimanual Teleoperation
• 알고리즘명: ACT, Action Chunking with Transformers
• 저자: Tony Z. Zhao, Vikash Kumar, Sergey Levine, Chelsea Finn
• 소속: Stanford University, UC Berkeley, Meta
• 발표: Robotics: Science and Systems, RSS 2023
• 분야: Robot Learning, Bimanual Manipulation, Imitation Learning, Teleoperation, Visuomotor Policy
• 키워드: ALOHA, ACT, Action Chunking, Bimanual Manipulation, Low-cost Hardware, CVAE, Transformer, Behavior Cloning

2. 한 줄 요약

 

ALOHA는 약 2만 달러 예산의 저비용 양팔 teleoperation 하드웨어이고, ACT는 사람이 수집한 demonstration으로부터 미래 action sequence를 chunk 단위로 예측하는 Transformer 기반 imitation learning 정책이다.

 

조금 더 풀어서 말하면, 이 논문은 두 가지 문제를 동시에 다룬다.

첫째, 섬세한 양팔 조작 데이터를 어떻게 싸고 쉽게 모을 것인가?

둘째, 그렇게 모은 demonstration으로부터 어떻게 안정적인 robot policy를 학습할 것인가?

ALOHA는 첫 번째 문제에 대한 답이고, ACT는 두 번째 문제에 대한 답이다.

 

ALOHA는 사람이 작은 leader robot을 직접 움직이면, 그 움직임이 큰 follower robot으로 전달되는 joint-space teleoperation 시스템이다. ACT는 현재 관측 이미지와 로봇 joint position을 보고, 다음 한 step action만 예측하는 대신 앞으로 여러 step의 action sequence를 한 번에 예측한다. 논문은 이 action chunking 방식이 imitation learning에서 자주 발생하는 compounding error를 줄이는 데 효과적이라고 설명한다.

3. 왜 이 논문을 읽었는가?

이 논문은 로봇 학습에서 매우 현실적인 질문을 던진다.

“비싸고 정밀한 로봇이 없어도, 실제 물체를 다루는 섬세한 양팔 조작을 학습할 수 있을까?”

기존 로봇 조작 연구에서는 고가의 로봇팔, 정밀한 force/torque sensor, depth camera, 정확한 calibration, 복잡한 model-based control을 사용하는 경우가 많았다. 하지만 실제 연구실이나 스타트업 환경에서는 이런 장비를 갖추기 어렵다.

ALOHA 논문의 관점은 다르다. 하드웨어는 완벽하지 않아도 된다. 대신 사람이 직접 teleoperation으로 좋은 demonstration을 수집하고, policy가 RGB image와 joint state를 보고 closed-loop로 행동을 학습하게 하자는 것이다. 논문은 fine manipulation task가 정밀도, 양팔 협응, 접촉이 모두 필요한 어려운 문제이며, 이를 저비용 하드웨어와 end-to-end imitation learning으로 해결하려 한다고 설명한다.

이 논문이 중요한 이유는 단순히 새로운 알고리즘 하나를 제안한 것이 아니라, “로봇 데이터 수집 하드웨어 + imitation learning 알고리즘”을 하나의 실용적인 시스템으로 묶었다는 점이다.

 

즉, ALOHA는 로봇 파운데이션 모델이나 대규모 robot learning 연구에서 필요한 실제 demonstration data를 저렴하게 수집할 수 있는 기반이 되었고, ACT는 그 데이터를 효율적으로 학습하는 강력한 baseline이 되었다.

4. 기존 방식의 한계

섬세한 양팔 조작은 일반적인 pick-and-place보다 훨씬 어렵다.

예를 들어 지퍼백을 열거나, 배터리를 슬롯에 끼우거나, 컵 뚜껑을 열거나, 벨크로 끈을 작은 구멍에 넣는 작업은 몇 mm의 오차만 있어도 실패한다. 논문도 condiment cup을 여는 예시에서, 오른팔로 컵을 눕히고 왼쪽 gripper로 잡은 뒤, 다시 오른쪽 손가락으로 뚜껑을 들어 올려야 하며, 각 단계마다 정밀한 시각 피드백과 접촉 조절이 필요하다고 설명한다.

기존 방식에는 크게 세 가지 한계가 있다.

첫째, 하드웨어가 비싸다. 고정밀 양팔 로봇, dexterous hand, 특수 센서, 정밀 calibration을 갖추려면 비용과 세팅 난이도가 높다. ALOHA는 이와 반대로 off-the-shelf robot과 3D printed part만으로 접근 가능한 시스템을 만들고자 한다.

둘째, behavior cloning은 compounding error에 취약하다. 일반적인 BC는 현재 observation을 보고 다음 action 하나를 예측한다. 하지만 작은 action error가 다음 상태를 바꾸고, 바뀐 상태가 다시 policy의 입력이 되면서 error가 누적된다. fine manipulation에서는 몇 mm의 오차도 실패로 이어지기 때문에 이 문제가 특히 치명적이다.

셋째, 사람 demonstration은 non-stationary하고 stochastic하다. 같은 상태에서도 사람이 조금씩 다른 trajectory를 사용할 수 있고, 중간에 멈추거나 조정하는 동작이 들어갈 수 있다. 단일 step Markovian policy는 이런 pause나 장기적 의도까지 잘 모델링하기 어렵다. 논문은 action chunking이 이러한 temporally correlated confounder를 완화할 수 있다고 설명한다.

5. ALOHA의 핵심 아이디어

 

ALOHA의 핵심은 저비용이면서도 정밀한 양팔 teleoperation 데이터를 수집할 수 있는 하드웨어 시스템을 만드는 것이다.

ALOHA는 두 개의 큰 follower arm과 두 개의 작은 leader arm으로 구성된다. 사용자는 leader arm을 손으로 직접 움직이고, follower arm은 그 joint movement를 따라간다. 이 방식은 VR controller나 hand tracking을 사용해 end-effector pose를 맞추는 task-space teleoperation과 다르다. ALOHA는 joint-space mapping을 사용한다.

논문은 joint-space mapping의 장점으로 몇 가지를 든다.

첫째, inverse kinematics 계산이 필요 없기 때문에 latency가 낮고 안정적이다.

둘째, 6-DoF arm이 singularity 근처에서 작업할 때도 task-space IK 실패 문제를 피할 수 있다.

셋째, 사람이 leader robot을 직접 움직이기 때문에 작은 진동이나 과도한 움직임이 물리적으로 어느 정도 완화된다.

넷째, leader와 follower의 joint position 차이가 low-level PID controller를 통해 force-like interaction을 암묵적으로 만들 수 있다.

이 하드웨어 설계는 매우 실용적이다. 논문은 ViperX 6-DoF robot arm을 follower로 사용하고, WidowX를 leader로 사용한다고 설명한다. ViperX는 working payload 750g, span 1.5m, accuracy 5~8mm 수준이며, 로봇팔 하나의 가격은 약 5,600달러라고 설명된다. WidowX는 약 3,300달러이며, leader robot으로 사용된다. 전체 ALOHA setup은 2만 달러 이내 예산으로 구성된다고 보고된다.

또한 ALOHA는 4개의 Logitech C922x webcam을 사용한다. 두 카메라는 follower robot wrist에 장착되고, 나머지 두 카메라는 front view와 top view를 제공한다. 각 카메라는 480×640 RGB image를 제공하며, teleoperation과 data recording은 50Hz로 수행된다.

즉, ALOHA는 “정밀한 센서를 많이 붙인 비싼 로봇”이 아니라, “사람이 직접 조작하기 쉽고, 데이터 수집이 빠르고, 연구실에서 재현 가능한 저비용 양팔 로봇 시스템”을 목표로 한다.

6. ACT의 핵심 아이디어

ACT의 핵심은 action을 한 step씩 예측하지 않고, 여러 step의 action sequence를 chunk 단위로 예측하는 것이다.

 

일반적인 behavior cloning은 다음과 같이 동작한다.

현재 이미지 + 현재 joint state
→ policy
→ 다음 action 1개 예측

 

반면 ACT는 다음과 같이 동작한다.

현재 이미지 + 현재 joint state
→ policy
→ 앞으로 k step의 action sequence 예측
→ 여러 prediction을 temporal ensemble로 결합
→ 현재 step action 실행

 

이때 action은 양팔 로봇의 target joint position이다. 논문은 두 팔의 joint position이 각각 7 DoF로 표현되어 observation과 action 모두 총 14차원 joint vector를 사용한다고 설명한다.

Action chunking이 중요한 이유는 effective horizon을 줄이기 때문이다.

예를 들어 전체 task가 900 step이고 policy가 1 step씩 예측한다면, 900번의 decision을 해야 한다. 하지만 chunk size가 90이면, policy는 더 긴 미래 행동을 한 번에 생성하므로 task의 effective decision horizon이 크게 줄어든다. 이렇게 하면 매 step마다 작은 오차가 누적되는 문제를 완화할 수 있다.

또한 사람 demonstration에는 중간 pause나 미세 조정 동작이 포함될 수 있다. 단일 step policy는 이런 행동을 “현재 상태만 보고” 설명하기 어렵지만, action chunk는 일정 시간 동안의 연속 동작을 함께 모델링하기 때문에 더 자연스럽게 학습할 수 있다. 논문은 action chunking이 compounding error와 non-Markovian behavior를 줄이는 데 도움이 된다고 설명한다.

ACT는 단순히 chunk를 출력하는 Transformer가 아니다. 논문에서는 ACT를 conditional VAE, 즉 CVAE로 학습한다.

학습 때는 encoder가 현재 joint observation과 expert action sequence를 보고 style variable z의 평균과 분산을 예측한다. decoder, 즉 실제 policy는 현재 이미지, 현재 joint position, style variable z를 조건으로 미래 action sequence를 예측한다. 테스트 때는 encoder를 버리고, z를 prior mean인 0으로 두어 deterministic하게 action sequence를 생성한다.

이 CVAE 구조는 사람 demonstration의 다양성을 다루기 위한 장치이다. 사람은 같은 task를 수행해도 매번 조금씩 다른 trajectory를 만든다. CVAE는 이런 human data의 variability를 latent style variable로 흡수하고, decoder가 안정적인 action chunk를 생성하도록 돕는다.

7. ACT 아키텍처 개요

 

ACT는 크게 세 부분으로 볼 수 있다.

첫째, visual encoder이다. ACT는 4개의 RGB camera image를 입력으로 받는다. 각 이미지는 ResNet18 backbone을 통해 feature map으로 변환되고, spatial information을 보존하기 위해 2D sinusoidal position embedding이 추가된다.

둘째, Transformer encoder이다. 여러 camera view에서 나온 visual feature, 현재 joint position, style variable z를 하나의 sequence로 합쳐 Transformer encoder에 넣는다. 이 encoder는 여러 시점의 image feature와 proprioception 정보를 통합한다.

셋째, Transformer decoder이다. decoder는 encoder output에 cross-attention하면서 미래 action sequence를 생성한다. 최종 출력은 앞으로 k step 동안의 14차원 target joint position sequence이다. 논문은 reconstruction loss로 L2보다 L1 loss가 더 정밀한 action sequence modeling에 도움이 되었고, delta joint position보다 absolute target joint position을 action으로 쓰는 편이 성능이 좋았다고 설명한다.

논문에 따르면 ACT 모델은 약 80M parameter 규모이며, task별로 scratch부터 학습한다. 단일 11GB RTX 2080 Ti GPU에서 학습 시간은 약 5시간, inference 시간은 약 0.01초라고 보고된다.

ACT의 또 다른 중요한 요소는 temporal ensembling이다.

단순한 action chunking에서는 k step마다 policy를 호출하고, 그동안은 생성된 action sequence를 그대로 실행한다. 하지만 이렇게 하면 새로운 관측이 k step마다 갑자기 반영되어 robot motion이 jerky해질 수 있다.

이를 해결하기 위해 ACT는 매 timestep마다 policy를 호출하고, 서로 겹치는 action chunk들이 같은 timestep에 대해 예측한 여러 action을 weighted average한다. 논문은 이 temporal ensemble이 smoothing과 비슷해 보이지만, 인접 timestep의 action을 평균내는 것이 아니라 “같은 timestep에 대해 예측된 action들”을 평균내기 때문에 일반적인 smoothing과 다르다고 설명한다.

정리하면 ACT의 전체 흐름은 다음과 같다.

4개 카메라 이미지 + 현재 joint state
→ ResNet18 visual encoder
→ Transformer encoder로 multi-view 정보 통합
→ Transformer decoder가 미래 action chunk 예측
→ overlapping chunk를 temporal ensemble
→ 현재 target joint position 실행
→ 다음 timestep에서 다시 관측하고 반복

8. 실험 결과

논문은 2개의 simulation task와 6개의 real-world task에서 ACT를 평가했다. simulation task는 Transfer Cube와 Bimanual Insertion이고, real-world task는 Slide Ziploc, Slot Battery, Open Cup, Thread Velcro, Prep Tape, Put On Shoe이다.

각 task는 fine-grained bimanual manipulation을 요구한다.

Slide Ziploc은 오른쪽 gripper로 지퍼백 slider를 잡아 열고, 왼쪽 gripper로 지퍼백 몸체를 고정해야 한다.

Slot Battery는 배터리를 리모컨 슬롯에 넣고, 배터리 스프링 반발력을 이기면서 끝까지 밀어 넣어야 한다.

Open Cup은 작은 소스 컵을 눕히고, 한쪽 팔로 컵을 잡은 뒤 다른 팔로 뚜껑을 들어 올려야 한다.

Thread Velcro는 벨크로 끈의 한쪽 끝을 작은 loop에 넣어야 하며, loop 크기가 3mm × 25mm 수준이라 매우 정밀한 시각 피드백이 필요하다.

Prep Tape는 테이프 조각을 자르고, 양팔 사이에서 handover한 뒤, 박스 모서리에 붙이는 작업이다.

Put On Shoe는 신발을 고정된 발 모형에 신기고, 벨크로 strap을 붙여 신발이 발에 고정되도록 하는 작업이다.

데이터 수집 측면에서, real-world task는 ALOHA teleoperation으로 수집되었다. 각 episode는 사람이 수행하는 데 약 8~14초가 걸리고, 50Hz control frequency 기준 400~700 timestep으로 기록된다. 논문은 대부분 task에서 50 demonstrations를 수집했고, Thread Velcro는 100 demonstrations를 수집했다고 설명한다. 전체 demonstration은 task당 약 10~20분 분량이며, reset과 teleoperation mistake까지 포함한 wall-clock time은 약 30~60분이라고 보고된다.

성능 비교에서는 BC-ConvMLP, BeT, RT-1, VINN과 비교했다. 논문은 ACT가 simulated task와 real-world task 모두에서 기존 imitation learning baseline보다 높은 성공률을 보였다고 보고한다. 특히 Slide Ziploc과 Slot Battery real-world task에서 ACT는 각각 88%, 96% final success rate를 달성했고, 다른 baseline들은 마지막 단계까지 거의 진행하지 못했다고 설명한다.

추가 real-world task에서도 ACT는 Open Cup 84%, Thread Velcro 20%, Prep Tape 64%, Put On Shoe 92% final success rate를 기록했다. Thread Velcro는 가장 어려운 task로, 각 stage를 통과할 때마다 성공률이 크게 떨어졌고, cable tie가 작고 검은색이라 이미지에서 정확히 위치를 파악하기 어려운 것이 주요 실패 원인으로 분석된다.

Ablation study에서도 핵심 설계의 효과가 확인된다.

첫째, chunk size가 1일 때보다 더 큰 chunk를 사용할 때 성능이 크게 좋아졌다. 논문은 action chunking이 effective horizon을 줄여 성능을 개선한다고 분석한다.

둘째, temporal ensembling은 ACT와 BC-ConvMLP 같은 parametric policy의 성능과 smoothness를 개선했다.

셋째, CVAE objective는 사람 demonstration을 학습할 때 중요했다. 논문은 scripted data에서는 CVAE를 제거해도 차이가 작았지만, human data에서는 success rate가 35.3%에서 2%로 크게 떨어졌다고 보고한다. 즉, CVAE는 stochastic하고 multimodal한 human demonstration을 다룰 때 특히 중요하다.

9. 로봇을 공부하는 입장에서 본 의미

이 논문의 의미는 크게 세 가지이다.

첫째, 로봇 learning에서 하드웨어와 데이터 수집이 얼마나 중요한지 보여준다.

좋은 policy를 학습하려면 좋은 demonstration이 필요하다. 하지만 좋은 demonstration을 수집하려면 사람이 로봇을 자연스럽고 정밀하게 조작할 수 있어야 한다. ALOHA는 저비용 leader-follower teleoperation 구조를 통해 이 문제를 해결하려 했다. 즉, 알고리즘만 잘 만든 것이 아니라, demonstration collection pipeline 자체를 개선한 연구이다.

둘째, ACT는 behavior cloning의 단점을 매우 단순하면서도 강력한 방식으로 줄였다.

기존 BC는 다음 action 하나를 예측하기 때문에 error accumulation에 취약하다. ACT는 미래 action sequence를 chunk로 예측해 effective horizon을 줄인다. 이 아이디어는 복잡한 강화학습이나 online correction 없이도 offline demonstration data만으로 좋은 성능을 낼 수 있게 한다.

셋째, 이 논문은 이후 로봇 학습 연구에서 중요한 baseline이 되었다.

Diffusion Policy가 action distribution을 diffusion process로 생성하는 방향이라면, ACT는 Transformer와 CVAE를 이용해 action chunk를 직접 생성하는 방식이다. 둘 다 single-step regression을 넘어서 “action sequence를 생성한다”는 관점을 공유한다. 하지만 Diffusion Policy는 denoising diffusion으로 action trajectory를 생성하고, ACT는 CVAE 기반 Transformer decoder로 action chunk를 생성한다는 점이 다르다.

VIMA와 비교하면 차이가 더 분명하다. VIMA는 “task를 어떻게 multimodal prompt로 줄 것인가?”에 초점이 있고, ALOHA/ACT는 “실제 양팔 로봇에서 demonstration을 어떻게 수집하고, 그 데이터로 어떻게 안정적인 action을 만들 것인가?”에 초점이 있다.

즉, ALOHA/ACT는 로봇 파운데이션 모델의 거대한 language/vision reasoning보다는 실제 조작 데이터 수집과 저비용 실험 재현성 측면에서 매우 중요한 논문이다.

10. 한계점

ALOHA/ACT에도 한계는 있다.

첫째, 하드웨어가 저비용이지만 정밀도가 높은 것은 아니다. 논문에서 사용한 ViperX arm은 accuracy가 5~8mm 수준으로 설명되며, fine manipulation에서는 몇 mm 오차도 실패로 이어질 수 있다. ACT는 closed-loop visual feedback으로 이를 보완하지만, 하드웨어 자체의 물리적 한계는 여전히 존재한다.

둘째, task별 학습 방식이다. 논문은 ACT를 task마다 scratch부터 학습한다고 설명한다. 즉, 이 논문 자체가 하나의 generalist robot foundation model을 제안하는 것은 아니다. 새로운 task를 수행하려면 해당 task demonstration을 다시 수집하고 학습해야 한다.

셋째, 주로 tabletop bimanual manipulation에 초점이 있다. 이동이 필요한 작업이나 장시간 household task, 넓은 공간에서의 mobile manipulation은 이 논문의 직접적인 범위가 아니다. 이후 Mobile ALOHA가 이 방향을 확장했지만, 본 논문은 고정된 테이블 위 양팔 조작이 중심이다.

넷째, 시각적으로 어려운 물체에는 여전히 취약하다. Thread Velcro의 낮은 final success rate가 대표적이다. 논문은 검은 cable tie가 배경과 contrast가 낮고 이미지에서 작게 보이기 때문에 정확한 위치 파악이 어렵다고 분석한다.

다섯째, 촉각이나 force sensing을 직접 활용하지 않는다. ALOHA는 leader-follower joint difference와 low-level controller를 통해 힘 정보를 어느 정도 암묵적으로 반영하지만, policy 입력으로 고해상도 tactile sensor나 force/torque sensor를 적극적으로 사용하는 구조는 아니다. 따라서 접촉이 더 복잡하거나 물체의 물성이 중요한 task에서는 추가 센싱이 필요할 수 있다.

여섯째, 모든 섬세한 양팔 조작을 해결한 것은 아니다. 논문은 buttoning up a dress shirt처럼 로봇이나 learning algorithm의 능력을 넘어서는 task가 존재한다고 직접 언급한다.

결론적으로 ALOHA/ACT는 “비싸고 정밀한 로봇이 아니어도, 좋은 teleoperation system과 action chunking 기반 imitation learning을 결합하면 실제 세계의 섬세한 양팔 조작을 학습할 수 있다”는 점을 보여준 논문이다. 하드웨어 접근성과 알고리즘 실용성을 동시에 잡았기 때문에, 이후 저비용 로봇 학습 플랫폼과 대규모 manipulation data 수집 연구에 큰 영향을 준 연구로 볼 수 있다.

 

논문 링크

[2304.13705] Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware