보고 듣고 말하는 통합 모델 성능 향상… 이미지 검색 ‘Kanana-v-embedding’도 선봬

카나나-o와 경쟁모델들의 벤치마크 성능비교. 사진=카카오
 

카카오가 한국어와 한국 문화를 가장 잘 이해하는 고도화된 멀티모달(Multimodal) AI 기술의 연구 성과를 공개했다.

카카오(대표이사 정신아)는 12일 테크블로그를 통해 한국적 맥락 이해에 최적화된 통합 멀티모달 언어모델 ‘Kanana-o’와 멀티모달 임베딩(Embedding) 모델 ‘Kanana-v-embedding’의 개발 과정과 성능을 공개하며 기술적 완성도를 입증했다.

‘Kanana-o’는 텍스트와 음성, 이미지를 동시에 이해하고 실시간으로 답변하는 통합 멀티모달 언어모델이다. 카카오는 기존 멀티모달 모델이 음성 대화 시 답변이 단순해지고 추론 능력이 떨어진다는 한계에 주목해 Kanana-o의 지시이행 능력을 고도화했다. 자체 구축한 데이터셋 학습을 통해 사용자의 숨은 의도와 복잡한 요구사항까지 파악할 수 있도록 개선했다.

Kanana-o는 요약, 감정 및 의도 해석, 오류 수정, 형식 변환 등 다양한 과업 수행이 가능하다. 특히 고품질 음성 데이터와 DPO(직접 선호 최적화) 기술을 적용해 억양, 감정, 호흡 등을 정교하게 학습시켜 기쁨, 슬픔, 분노, 공포 등 상황 별 생생한 감정 표현 능력을 향상시켰다. 팟캐스트 형태의 데이터셋을 구축해 끊김 없이 자연스럽게 이어지는 멀티턴 대화도 가능해졌다.

벤치마크 평가 결과 Kanana-o는 한국어 음성 인식, 합성, 감정 인식 능력에서 글로벌 모델 대비 월등히 높은 수준을 기록했다. 카카오는 향후 동시 대화(Full-duplex)와 상황에 맞는 사운드스케이프(소리환경)를 실시간 생성하는 모델로 발전시킬 예정이다.

함께 공개된 ‘Kanana-v-embedding’은 이미지 기반 검색의 핵심 기술로, 텍스트와 이미지를 동시에 이해해 처리하는 한국형 멀티모달 모델이다. 텍스트로 이미지를 검색하거나 이미지가 포함된 문서를 검색하는 것을 지원한다. 특히 이 모델은 한국어와 한국 문화에 대한 이해도가 탁월해 고유명사는 물론, 오타가 포함된 단어도 문맥을 파악해 정확한 이미지를 찾아준다. ‘한복 입고 찍은 단체 사진’처럼 복합적인 조건도 정확히 이해해 높은 변별력을 갖췄다. 현재 카카오 내부 광고 소재 유사도 분석 및 심사 시스템에 적용됐다.

카카오는 모바일 기기 등 온 디바이스(On-device) 환경에서 동작할 수 있도록 멀티모달 모델의 경량화 연구를 진행 중이다. 또한 MoE(Mixture of Experts) 구조를 적용한 고성능, 고효율 모델인 ‘Kanana-2’를 연내 개발할 계획이다.

카카오 김병학 카나나 성과리더는 “Kanana는 단순한 정보 나열을 넘어 사용자의 감정을 이해하며 친숙하고 자연스럽게 대화하는 AI가 될 수 있도록 한국적 맥락의 이해와 표현력을 높여가고 있다”며 “사람처럼 상호작용 할 수 있는 AI 구현에 주력할 것”이라고 말했다.

< 문화경제 황수오 기자 >