Low-Interaction-Rank 이론: 승산 이중 인코더(Multiplicative Dual-Encoder)의 게이지 대칭성 해제 및 멀티모달 표상 해석성 혁신
📌 핵심 요약 (Key Takeaways) 샘플 복잡도 혁신: 두 인코더 표현 복잡도의 곱($O(C_A \times C_B)$)이 아닌 합($O(C_A + C_B)$)으로 정규화되는 ‘낮은 상호작용 랭크(Low Interaction Rank)’ 이론 체계 확립. 게이지 대칭성 해제 및 해석성 확보: Whitening(백색화) 정규화를 도입하여 인코더 내 임의의 임베딩 차원을 순치하고, CLIP 등 비전-언어 모델의 숨겨진 개념 축(Concept Axes)을 회전으로 복원. 피지컬 AI … 더 읽기