📌 핵심 요약 (Key Takeaways)
- 핵심 성과 1: 단일 가중치 디코더 기반으로 R1lite/pro 로봇 실기 평가 76.7% 성공률 달성 ($\pi_{0.5}$ 53.3%, GR00T-N1.7 24.4% 대비 대폭 우수).
- 독창적 차별점 2: VLM과 별도 Flow-Matching 제어기를 분리하던 기존 2-Stage 관행 탈피, CoT 추론과 Action Token을 단일 스트림으로 통합.
- 실무 파급력 3: Cross-Embodiment 토크나이저를 통해 heterogeneous 하드웨어 간 Zero-Shot 이식성 및 장기 태스크 대응력 확보.
1. 기존 VLA 모델의 구조적 한계와 G0.5의 패러다임 전환
기존 비전-언어-행동(Vision-Language-Action, VLA) 연구 패러다임은 사전 학습된 시각 언어 모델(VLM)을 단순한 문맥 인코더(Context Encoder)로 활용하고, 하단의 제어 파트에는 별도로 학습된 Flow-Matching 기반 Action Expert 모델을 결합하는 방식이 주를 이루었습니다. 이러한 2-Stage 이원화 구조는 VLM이 보유한 고차원 추론 및 판단 능력이 연속적인 제어 신호로 완벽히 전파되지 못하고, 추론 네트워크와 제어 네트워크 간의 가중치 미분리가 심각한 표현력 손실을 유발한다는 문제점을 지니고 있었습니다.
본 논문에서 제안하는 G0.5는 이러한 한계를 근본적으로 해결하기 위해 단일 트랜스포머 디코더(Single Transformer Decoder)가 추론(Reasoning) 및 행동(Action) 토큰을 동일한 목표 함수 하에 직접 발사하는 단일 자기회귀(Autoregressive) VLA 아키텍처를 제시합니다. 추론 과정과 행동 생성이 단일 가중치 세트를 공유함에 따라 사전 학습된 VLM의 파운데이션 지식이 물리적 로봇 동작으로 손실 없이 전이되는 구조적 이점을 확보했습니다.
2. G0.5 시스템 프레임워크 및 3대 핵심 기법
G0.5 아키텍처를 대규모 파운데이션 모델 스케일에서 안정적으로 구동하기 위해 연구진은 세 가지 핵심 기술 메커니즘을 설계했습니다. 첫 번째는 학습 가능한 이종 이종체 제어 토크나이저(Learnable Cross-Embodiment Action Tokenizer)입니다. 이 모듈은 다수의 서로 다른 로봇 모빌리티 및 매니퓰레이터의 연속적 행동 공간을 하나의 공통 어휘집(Shared Vocabulary)으로 매핑하여 이종 하드웨어 간 데이터 병합 및 교차 학습을 가능하게 합니다.
두 번째는 네이티브 사고 사슬(Native Chain-of-Thought, CoT) 스트림의 도입입니다. 프롬프트 입력 시 태스크 분해(Task Decomposition), 객체 위치 특정(Object Grounding), 그리고 제어 힌트(Action Hints) 과정을 담은 텍스트 토큰과 실제 로봇 제어 토크나이저의 행동 토큰을 단일 스트림 내에서 교차 배치(Interleaving)하여 출력합니다. 이를 통해 지시 이행의 정밀도를 향상시키고 예외 상황에 대한 실시간 수정을 가능하게 합니다.
세 번째는 시각적 메모리 모듈(Visual Memory Module)입니다. 수 초 간의 비전 센서 이력 트랙을 비전 인코더 레벨에서 주입함으로써, 컨텍스트 윈도우의 폭발적인 증가를 방지하면서도 시간적 연속성(Temporal Continuity)을 유지한 상태로 복잡한 공간 내 동적 장애물 회피 및 긴 시퀀스의 로봇 조작 작업을 수행하도록 설계되었습니다.
3. 유사 선행 연구 대비 독창성 및 성능 비교
기존 SOTA VLA 모델인 $\pi_{0.5}$ 및 Nvidia의 GR00T-N1.7 방식과 비교할 때, G0.5는 별도의 확산(Diffusion) 또는 Flow-Matching 헤드 없이 오직 자기회귀 방식의 넥스트 토큰 예측(Next Token Prediction) 패러다임만으로 우수한 물리 제어 정확도를 달성한다는 점에서 기술적 독창성을 갖습니다.
| 비교 항목 | 기존 VLA 방식 ($\pi_{0.5}$, GR00T-N1.7) | 본 연구의 제안 방식 (G0.5) | 실무적 차별성 및 엔지니어링 가치 |
|---|---|---|---|
| 모델 아키텍처 | VLM Context Encoder + Flow-Matching Policy (2-Stage) | Unified Autoregressive Transformer Decoder (1-Stage) | 단일 가중치 결합으로 파이프라인 단축 및 인퍼런스 최적화 용이 |
| 추론 및 제어 결합 | VLM 텍스트 잠재 벡터를 Action Expert에 단순 조건화 | Native CoT (생각 토큰)과 Action 토큰의 인터리빙 교차 출력 | 실시간 공간 추론과 모션 플래닝 간 동기화 정밀도 극대화 |
| R1lite/pro 실체 로봇 평가 | $\pi_{0.5}$: 53.3% / GR00T-N1.7: 24.4% | 76.7% (성공률 최고치 달성) | 실제 로봇 환경에서의 잡음 견고성 및 정밀 조작 대폭 향상 |
| BEHAVIOR 2025 챌린지 | $\pi_{0.5}$: 26.3% / 기존 1위: 26.1% | 31.4% (50개 장기 시퀀스 가속 태스크) | 장기 계획(Long-horizon) 가정하의 시각 메모리 우수성 증명 |
| LIBERO / RoboTwin 2.0 | LIBERO ~90% 대 / RoboTwin ~80% 대 | 98.9% / 93.3% | 시뮬레이션 환경 내 SOTA 달성 및 정밀 조작 검증 완료 |
4. 산업 현장 적용성 및 피지컬 AI 파급 효과 (Paper-to-Industry)
G0.5가 제시한 단일 스트림 자기회귀 VLA 구조는 스마트 팩토리의 다품종 변량 생산 라인, 휴머노이드 로봇 관제, 미지의 야외 험지 내 무인이동체 자율 작업에 강렬한 파급 효과를 가져옵니다. 기존에는 로봇의 모듈별(비전 인식-경로 계획-모터 제어) 별도 NPU 및 알고리즘 모듈 배치가 필수적이었으나, G0.5 아키텍처를 도입할 경우 단일 파운드리 모델 인퍼런스 엔진 하나로 고차원 상황 판단부터 액추에이터 제어 신호 생성까지 정합성을 유지할 수 있습니다.
특히 DROID 데이터셋 후학습을 거친 후 미학습 환경 및 미지 객체에 대해 82.5%의 Zero-Shot 전이 성공률을 기록한 것은, 현장 실무에서 작업장 환경 변화 시 재학습(Re-training) 비용을 획기적으로 낮출 수 있음을 보여줍니다. 프롬프트 수정을 통해 실시간으로 조작 입도(Granularity)나 작업 스코프를 조절할 수 있으므로 엣지 인프라 단에서의 로봇 소프트웨어 운영 효율성을 대폭 개선할 전망입니다.
원문 출처: arXiv:2608.11739 – G0.5: One Autoregressive Stream for Robot Reasoning and Action