📌 핵심 요약 (Key Takeaways)
- 핵심 성과 1: 관찰 행동의 단순 대리 지표 한계를 극복하고, 반사실적 추론을 통해 사용자의 내재적 신념과 성향을 정밀 역추적하는 IToM 파이프라인 제안
- 독창적 차별점 2: 대형 언어 모델(LLM)과 다부가설적 가추법(Abductive Inference)을 결합하여 정형화된 사용자 페르소나를 실시간 합성
- 실무 파급력 3: 공간 컴퓨팅(VisionOS 등) 및 동적 인터페이스 환경을 넘어 피지컬 AI의 인간-로봇 상호작용(HRI) 상황 인지 고도화에 기여
1. 도입: 전통적 추천 시스템과 동적 인터페이스의 패러다임 전환
현대 추천 시스템 및 적응형 인터페이스는 사용자의 클릭, 조회 등의 관찰된 행동을 선호도의 신뢰할 수 있는 대리 지표로 가정해 왔습니다. 그러나 실제 환경에서의 상호작용은 단순한 선호 표현뿐만 아니라 탐색, 비교, 혹은 일시적 호기심에 기반하는 경우가 빈번합니다. 인터페이스가 정적 레이아웃에서 생성형 UI 및 몰입형 확장 현실(XR)로 진화함에 따라, 시스템은 단순히 콘텐츠를 제시하는 것을 넘어 ‘사용자가 왜 이러한 행동을 수행했는가’에 대한 깊이 있는 이해를 요구받고 있습니다.
본 연구는 이러한 한계를 극복하기 위해 관찰된 상호작용으로부터 역으로 사용자의 신념, 선호도, 의사결정 특성을 추론하는 역마음이론(Inverse Theory of Mind, IToM) 파이프라인을 제안합니다. 이 아키텍처는 사용자 행동의 문맥을 복원하고, 대안과의 비교를 통해 숨겨진 의사결정 동기를 포착하는 데 초점을 맞추고 있습니다.
2. IToM 파이프라인의 핵심 아키텍처 및 추론 메커니즘
제안된 IToM 파이프라인은 크게 세 가지 단계로 구성되어 유기적으로 작동합니다. 첫째, 시스템은 사용자가 선택한 대상뿐만 아니라 당시 가용했던 대안들을 포함하여 의사결정 문맥(Decision Context)을 철저히 재구성합니다. 이는 단순한 행동 로그 수집을 넘어선 구조화된 환경 분석을 의미합니다.
둘째, LLM 기반의 반사실적 추론(Counterfactual Reasoning)을 적용하여 증거에 기반한 자연어 형태의 신념 진술문(Belief Statements)을 도출합니다. 셋째, 이렇게 생성된 다수의 신념들을 다부가설적 가추법(Multi-hypothesis Abductive Inference)을 통해 종합하여 일관성 있는 정형화된 사용자 페르소나로 합성합니다. OPeRA 데이터셋을 활용한 평가 결과, 이 다부가설적 추론 구조가 정확한 성격 및 태도 예측에 결정적인 역할을 함이 입증되었습니다.
3. 유사 선행 연구 대비 독창성 및 성능 비교
| 비교 항목 | 기존/유사 선행 연구 방식 | 본 연구의 제안 방식 (IToM) | 실무적 차별성 및 한계 |
|---|---|---|---|
| 행동 해석 모델링 | 관찰 행동을 직접적 선호도로 단순 매핑 (협업 필터링 중심) | 역마음이론(IToM)을 적용해 행동의 동기 및 신념을 역추적 | 탐색 및 비교 행동으로 인한 노이즈를 효과적으로 필터링 가능 |
| 문맥 처리 방식 | 현재 선택된 아이템의 피처 벡터 분석에 국한 | 가용했던 대안(Alternatives) 비교 및 반사실적 추론 결합 | 복잡한 의사결정 환경에서 정밀한 사용자 상태 파악 보장 |
| 페르소나 합성 구조 | 고정된 정량적 임베딩 공간 내 클러스터링 | 다부가설적 가추법 기반의 구조화된 페르소나 생성 | 설명 가능성(Explainability)이 높으나 실시간 연산 부하 존재 |
4. 산업 현장 적용 포인트 및 파급 효과
본 연구에서 검증된 IToM 파이프라인의 크로스모달 전파 가능성(Cross-modal Transferability)은 웹 브라우징 환경을 넘어 공간 컴퓨팅(예: VisionOS 기반 공간 뱅킹 및 XR 인터페이스)으로 확장됩니다. 이는 사용자의 미세한 시선 이동, 제스처, 인터랙션 타이밍 등 물리적 접점에서 드러나는 행동 패턴을 분석하여 사용자의 내면적 의도를 파악하는 데 직접적으로 응용될 수 있습니다.
특히 피지컬 AI 및 지능형 로보틱스 분야에서 인간-로봇 상호작용(HRI)을 설계할 때, 로봇이 인간의 비명시적 의도를 실시간으로 역추적하여 협업의 효율성을 높이는 기반 기술로 활용될 수 있습니다. 복잡한 동적 인터페이스와 자율주행·로봇 제어 시스템에서 사용자 상태를 선제적으로 모델링하는 강력한 아키텍처적 지침을 제공합니다.