📌 핵심 요약 (Key Takeaways)
- 핵심 성과 1: 단일 포워드 패스 내에서 조건부 스티어링과 제로샷 충분성 방향 판독을 동시에 수행하여 1.5B 모델 기준 alphaNLI 정확도를 0.375에서 0.798로 두 배 이상 향상
- 독창적 차별점 2: 스티어링으로 인한 잔차 상태 왜곡 문제를 해결하기 위해 소형 복원 네트워크를 도입하여 추가 연산 비용 없이 두 패스 방식의 성능을 능가
- 실무 파급력 3: 정보 부족 시 환각(Confabulation)을 방지하고 명시적 거절(Abstention)을 수행함으로써 임베디드 및 엣지 환경에서의 신뢰성 확보
1. 서론: 동결된 언어 모델의 한계와 잔차 스트림 제어
동결된(Frozen) 대규모 언어 모델은 추론 작업 수행 시 두 가지 구조적 결함을 동시에 내포하고 있습니다. 첫째, 모델은 이미 자신의 잔차 스트림(Residual stream) 내부에 인코딩되어 있는 증거 정보를 충분히 활용하지 못합니다. 둘째, 입력된 데이터가 정답을 도출하기에 턱없이 부족함에도 불구하고 이를 감지하지 못해 그럴듯한 환각(Confabulation) 반응을 출력하게 됩니다.
이러한 문제를 해결하기 위해 기존 연구들은 동일한 잔차 스트림을 대상으로 하는 두 가지 독립된 접근법을 제시해 왔습니다. 중간 스택 레이어에 조건부 스티어링 프로브(Conditional steering probe)를 적용하여 동결된 백본의 추론 정확도를 회복하는 방식과, 잔차 상태를 읽어 정보 부족 시 명시적으로 거절(Abstention)을 수행하는 제로샷 충분성 방향(Zero-shot sufficiency direction) 판독 방식이 그것입니다.
그러나 이 두 가지 기법을 단순 결합하여 단일 포워드 패스로 실행할 경우 심각한 간섭 현상이 발생합니다. 스티어링 쓰기 연산이 상태를 변조하여 판독 방향이 읽어들이는 데이터의 정합성을 훼손하며, 이로 인해 소형 모델에서는 크로스 도메인 전이 성능이 최대 8 AUROP 포인트까지 하락하는 부작용이 나타납니다. 이를 해결하기 위해 별도의 정돈된 패스를 추가하면 전체 추론 연산 비용이 두 배로 증가하는 트레이드오프에 직면하게 됩니다.
2. YOPO(You Only Pass Once) 시스템 아키텍처
본 연구에서 제안하는 YOPO(You Only Pass Once) 아키텍처는 추가적인 포워드 패스 없이 단 한 번의 연산만으로 응답, 스티어링, 그리고 거절 판정을 동시에 수행하는 혁신적인 파이프라인입니다. 핵심 아이디어는 충분성 판독 방향을 고정한 상태에서, 소형 신경망을 추가하여 스티어링이 적용된 잔차로부터 스티어링 이전의 원래 상태를 정밀하게 재구성하는 데 있습니다.
이 소형 네트워크는 (스티어링된 상태, 깨끗한 상태) 쌍을 대상으로 평균제곱오차(MSE)를 최소화하는 방향으로 학습되며, 별도의 복잡한 충분성 라벨을 전혀 요구하지 않습니다. 재구성된 잔차 스트림으로부터 충분성 방향을 읽어냄으로써, 스티어링으로 인한 상태 왜곡 문제를 완벽하게 우회하면서도 단일 패스 구조를 유지할 수 있습니다.
Qwen2.5 백본(1.5B, 3B, 7B)을 기반으로 구현된 이 엔드투엔드 시스템은 모든 스케일에서 기존의 이중 패스(Two-pass) 레퍼런스 모델을 능가하는 성능을 입증했습니다. 예를 들어, 1.5B 모델의 alphaNLI 벤치마크에서 3차원 종합 정확도는 기존 동결 베이스라인 대비 0.375에서 0.798로 급증했습니다.
3. 유사 선행 연구 대비 독창성 및 성능 비교
기존의 모델 성능 개선 기법들은 주로 가중치 미세조정(Fine-tuning)이나 다중 패스 추론 검증에 의존해 왔습니다. 반면, YOPO는 동결된 백본의 아키텍처를 전혀 변경하지 않고 내부 잔차 스트림의 동역학을 실시간으로 보정합니다.
| 비교 항목 | 기존/유사 논문 방식 (Two-Pass) | 본 연구 제안 방식 (YOPO) | 실무적 차별성 및 한계 |
|---|---|---|---|
| 추론 연산 비용 | 2회 이상의 포워드 패스 필요 (지연 시간 2배 증가) | 단일 포워드 패스 (Single Forward Pass) | 실시간 응답성이 요구되는 시스템에 최적화됨 |
| 상태 간섭 제어 | 스티어링 쓰기와 판독 간의 충돌로 정확도 저하 | 소형 복원 네트워크를 통한 잔차 스트림 보정 | 추가적인 라벨링 없이 MSE 기반 비지도 복원 수행 |
| 환각 및 거절 처리 | 정보 부족 상황에서 오답 생성 확률 높음 | 제로샷 충분성 방향 판독으로 명시적 거절 수행 | 도메인 전이 성능 및 신뢰성 대폭 향상 |
4. 산업 현장 적용 파급력 및 실무적 의미
본 연구가 제시하는 메커니즘은 단순히 학술적 성능 향상에 그치지 않고, 대규모 언어 모델을 실제 산업 현장의 임베디드 및 엣지 컴퓨팅 환경에 배포할 때 직면하는 실질적인 제약 사항들을 직접적으로 해결합니다. 연산 자원이 제한된 환경에서 지연 시간을 최소화하면서도 모델의 신뢰성을 확보하는 것은 필수적입니다.
특히 정보가 불충분할 때 모델이 억지로 답변을 만들어내는 환각 현상은 미션 크리티컬한 시스템에서 치명적인 오작동을 유발할 수 있습니다. YOPO의 레이블 프리(Label-free) 충분성 방향 판독 게이트는 도메인 간 전이 과정에서도 견고하게 작동하므로, 실시간 의사결정 시스템과 지능형 에이전트 아키텍처의 안정성을 크게 높이는 핵심 기반 기술로 활용될 수 있습니다.