📌 핵심 요약 (Key Takeaways)
- 핵심 성과 1: 78일간 텐센트 3개 추천 시스템 비즈니스 라인에 배포되어 1,624회의 CLI 툴 디스패치 및 78.6%의 누적 성공률 기록
- 독창적 차별점 2: 파이프라인 전체가 아닌 명확한 결정점(Decision Points)에만 에이전트 자율성을 한정하고, 장기 실행 데몬을 배제한 이벤트 기반 런타임 설계
- 실무 파급력 3: 스파크(Spark) 및 GPU 대기 시간 동안 CPU 리소스 소모를 0으로 유지하면서 컴플라이언스 준수 및 결정론적 A/B 테스트 보장
산업용 대규모 추천 시스템(Recommender Systems) 운영 환경에 대규모 언어 모델(LLM) 에이전트를 도입하는 과정은 근본적인 공학적 갈등을 수반합니다. 본고에서는 이를 ‘자율성-결정론-효율성 삼각딜레마(Autonomy-Determinism-Efficiency Trilemma)’로 정의하며, 일반적인 에이전트 자율성과 엄격한 산업용 결정론 사이의 충돌을 다룹니다.
텐센트(Tencent)의 실제 추천 시스템 운영 환경에 78일간 배포된 ‘RecSys Factory’ 플랫폼은 파이프라인 전체를 자율화하는 대신, 특정 결정점에만 자율성을 바운딩(Bounding)하는 설계 철학을 채택했습니다. 이는 대규모 데이터 파이프라인과 실시간 분산 처리 환경에서 LLM 에이전트의 환각 현상을 억제하고 운영 신뢰성을 극대화하는 핵심 메커니즘입니다.
아키텍처의 핵심: 삼각딜레마 해체와 이벤트 기반 런타임
RecSys Factory는 삼각딜레마의 각 정점을 개별적으로 해체하여 설계되었습니다. 먼저 런타임(Runtime) 구조는 장기 실행 데몬(Long-running daemon) 방식을 완전히 배제했습니다. 클로드 코드 정지 훅(Claude Code Stop hooks), 기업용 메신저 웹훅, 워크플로우 스케줄러 API 등 세 가지 호스트 방출 이벤트 소스만을 활용합니다.
이러한 이벤트 기반 아키텍처는 전체 벽시계 시간(Wall-clock time)의 94%를 차지하는 스파크(Spark) 작업 및 GPU 연산 대기 시간 동안 CPU 자원 소모를 완벽히 0으로 수렴시킵니다. 시스템은 대기 상태에서 자원을 점유하지 않으며, 이벤트 트리거 발생 시에만 최소한의 연산 자원을 할당받아 에이전트 결정을 수행합니다.
능력(Capability) 측면에서는 29개의 파일로 구성된 스킬 생태계(총 8,971 라인의 SKILL.md)를 구축했습니다. 각 스킬 내의 피트폴 테이블(Pitfall tables)은 컴파일 과정을 거쳐 400개 항목의 PitfallStore로 변환됩니다. 이를 통해 에이전트의 자율적 행동 반경을 사전 승인된 파이프라인 내의 타입화된 결정 서피스(Typed decision surfaces) 내부로 엄격히 제한합니다.
유사 선행 연구 및 기존 방식 대비 독창성 분석
기존의 LLM 에이전트 연구들은 대부분 범용 에이전트 프레임워크 기반의 엔드투엔드 자율 제어에 집중해 왔습니다. 그러나 이는 프로덕션 환경에서의 스키마 불일치, 규정 준수 경로 탈선, 무작위 크래시 등의 결정론적 실패를 유발하는 치명적인 한계가 있었습니다.
| 비교 항목 | 기존 범용 에이전트 방식 | RecSys Factory (본 연구) | 실무적 차별성 및 한계 |
|---|---|---|---|
| 자율성 범위 | 파이프라인 전체 엔드투엔드 자율 제어 | 사전 정의된 결정점(Decision Points)에만 바운딩 | 환각 현상 및 규정 위반 원천 차단 |
| 런타임 오버헤드 | 상시 구동 데몬 및 지속적 폴링 | 호스트 이벤트 기반, 대기 시 CPU 0 소모 | 대규모 분산 환경에서 인프라 비용 절감 |
| 안전성 및 검증 | 사후 모니터링 중심 | 스키마 검증, 멱등성, 재실행 가능한 감사 카드 프로토콜 | 진단과 실행 경계에서의 휴먼 인 더 루프 확보 |
표에서 보듯, RecSys Factory의 진정한 참신함(Novelty)은 에이전트의 ‘지능 높이기’가 아니라 ‘자율성의 통제 경계 설정’에 있습니다. 진단과 실행의 경계(Diagnostic-versus-execution boundary)에 휴먼 인 더 루프(Human-in-the-loop) 카드 프로토콜을 배치하여, 모든 에이전트의 제안을 스키마 검증 기반의 멱등성(Idempotent) 및 재실행(Replayable) 가능한 감사 로그로 전환했습니다.
산업 현장 적용 파급력 및 실무적 시사점
본 플랫폼의 실무적 가치는 복잡한 대규모 데이터 처리 및 추천 시스템 운영 조직에서 입증되었습니다. 텐센트의 이질적인 3개 비즈니스 라인(서로 다른 레이블 의미론, A/B 테스트 계층 토폴로지, 운영자 페르소나 보유)에 걸쳐 배포된 결과, 온보딩 시간의 압축 효과가 관측되었습니다.
방대한 로그와 피처 엔지니어링 파이프라인을 다루는 인프라 엔지니어링, 대규모 분산 컴퓨팅 자원 관리, 그리고 실시간 런타임 결정이 요구되는 도메인에서 본 아키텍처는 LLM 에이전트의 실무 도입 가이드라인을 제시합니다. 단순한 챗봇형 자동화를 넘어, 결정론적 시스템 내부에서 안전하게 동작하는 제어 에이전트 설계의 표준 모델로 기능할 것입니다.