📌 핵심 요약 (Key Takeaways)
- 핵심 성과 1: 29-DoF Unitree G1 휴머노이드 기준 다리 길이의 114%에 달하는 0.8m 높이의 고지형을 제로샷(Zero-shot) 시뮬레이션-투-실물(Sim-to-Real) 전송으로 자율 등반·횡단 달성
- 독창적 차별점 2: 속도 기반 제약 대신 최적 진행 상황을 추적하고 비개선 단계를 페널티로 부과하는 ‘일반화된 래칫 보상(Generalized Ratchet Progress Reward)’ 도입
- 실무 파급력 3: 지형 조건부 행동(등반, 하강, 보행, 기어가기, 기립, 누우기)을 단일 정책(Single Policy)으로 증류하여 복잡한 현장 장애물 극복 가능
휴머노이드 로봇 공학에서 심층 강화학습(DRL)의 도입은 평탄하지 않은 지형(Uneven Terrain) 위를 걷는 보행 안정성을 비약적으로 향상시켰습니다. 그러나 로봇의 다리 길이를 초과하는 고지형(High-Platform)을 극복하는 것은 여전히 제어 엔지니어링의 난제로 남아 있습니다.
기존의 강화학습 훈련 패러다임은 고지형 극복 시 충격량이 크고 토크 한계에 부딪히며 실제 하드웨어 배치 시 안전성이 결여된 점프 형태의 비효율적 솔루션으로 수렴하는 경향이 있었습니다. 이러한 한계를 극복하기 위해 본 연구진은 지형 조건부 등반 및 보행 행동을 유기적으로 결합하는 피지컬 AI 제어 시스템인 APEX를 제안합니다.
APEX 시스템의 핵심 아키텍처와 일반화된 래칫 보상
APEX는 수직 모서리에서의 등반(Climb-up) 및 하강(Climb-down), 플랫폼 위에서의 보행(Walking) 또는 기어가기(Crawling), 자세 재구성을 위한 기립(Stand-up) 및 누우기(Lie-down) 등 총 6가지 핵심 행동 양식을 유기적으로 통합합니다.
이 시스템의 중심 기술은 접촉 중심의 목표 도달 기동을 학습하기 위한 ‘일반화된 래칫 진행 보상(Generalized Ratchet Progress Reward)’입니다. 이 보상 체계는 현재까지 달성한 최고 수준의 태스크 진행 상황을 추적하고, 개선되지 않는 단계를 엄격하게 페널티 처리함으로써 속도 종속성 없는 조밀한 감독 신호를 제공합니다.
이를 통해 강력한 안전 정규화 제약 조건 하에서도 효율적인 탐색(Exploration)이 가능해지며, 험지 환경에서의 다관절 기동 안정성이 극대화됩니다.
LiDAR 기반 전신 기동 정책 및 Sim-to-Real 간극 해소
현실 세계의 불확실성을 극복하기 위해 APEX는 LiDAR 기반의 전신 기동 정책을 채택하였으며, 시뮬레이션과 실물 환경 간의 지각 간극(Perception Gap)을 줄이기 위해 이중 전략(Dual Strategy)을 적용합니다.
첫째로, 훈련 과정에서 의도적인 매핑 아티팩트(Mapping Artifacts)를 모델링하여 센서 노이즈에 대한 강건성을 키웁니다. 둘째로, 실제 배포 단계에서는 고도 지도(Elevation Maps)에 고급 필터링 및 인페인팅(Inpainting) 기법을 적용하여 정밀한 지형 인식을 수행합니다.
마지막으로, 분산되어 학습된 6가지 개별 기술을 단일 정책(Single Policy)으로 증류(Distillation)하여 로봇이 로컬 지오메트리와 실시간 명령에 기반해 자율적으로 행동을 선택하고 매끄럽게 전환하도록 구현했습니다.
유사 선행 연구 대비 독창성 및 성능 비교
| 비교 항목 | 기존/유사 논문 방식 (전통적 DRL) | 본 연구의 제안 방식 (APEX) | 실무적 차별성 및 한계 |
|---|---|---|---|
| 횡단 가능 높이 | 다리 길이의 50~70% 수준 (평지 보행 위주) | 다리 길이의 114% (0.8m 고지형, 제로샷 전송) | 고충격 점프 형태 탈피, 접촉 기반 등반 메커니즘 확보 |
| 보상 함수 설계 | 속도 기반 추종 보상 (지형 극복 시 지역 최적화 빠짐) | 일반화된 래칫 진행 보상 (최고 진행 상황 추적 + 비개선 페널티) | 속도 제약 없는 효율적 탐색 및 안전성 동시 달성 |
| 행동 제어 구조 | 개별 스킬별 독립 컨트롤러 (전환 시 불연속적 움직임) | 6대 스킬의 단일 정책 증류 (자율적 행동 선택 및 스무스 전환) | 실시간 제어 대기 시간 단축 및 로컬 지오메트리 적응력 우수 |
산업 현장 적용 포인트 및 파급 효과
본 연구는 29-DoF Unitree G1 휴머노이드를 활용한 실험을 통해 실제 하드웨어에서의 강건성을 입증했습니다. 특히 초기 포즈의 변동이나 플랫폼 높이의 변화에도 유연하게 적응하는 제로샷 시뮬레이션-투-실물 전송 능력은 산업 현장 적용 가능성을 높입니다.
방산, 재난 구조, 극한 환경 인프라 점검 등 바퀴형이나 4족 보행 로봇이 접근하기 어려운 수직 장애물과 고지형 환경에서 휴머노이드 로봇이 자율적으로 침투하여 임무를 수행할 수 있는 실무적 토대를 마련했습니다. 향후 온디바이스 NPU 기반 연산 최적화와 결합될 경우, 에지 디바이스 환경에서의 실시간 모션 플래닝 성능이 더욱 배가될 것으로 전망됩니다.
출처 원문: arXiv:2602.11143 – APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots