GPU 비용 10분의 1로 낮춘 초거대 AI… 디지털 격차 해소 위한 AI 생태계 본격 진입

BC카드 전경. 사진=BC카드

BC카드는 9일, 국내 금융사 최초로 양자화된 초거대 언어모델(LLM) 18종을 글로벌 AI 플랫폼 ‘허깅페이스(Hugging Face)’에 공개했다고 밝혔다. 이번 모델은 고성능 GPU 장비 없이도 누구나 AI를 활용할 수 있도록 설계돼, 스타트업과 소상공인의 디지털 전환 장벽을 낮추는 계기가 될 전망이다.

회사에 따르면 공개된 모델은 동적 양자화(Dynamic Quantization) 기술을 기반으로 한다. 이는 모델 내부의 수치를 압축해 배포한 후 활용 시 복원하는 방식으로, 연산 효율을 높이면서도 성능 저하 없이 AI를 안정적으로 구동할 수 있다. BC카드는 자체 기술을 통해 수치 손실 없이 기존 정확도를 유지하는 ‘손실률 0%’ 양자화를 구현했으며, 이를 통해 고가 GPU에 의존하던 기존 AI 운용 환경에서 벗어날 수 있는 기반을 마련했다.

실제 글로벌 기업의 최신형 GPU에서 BC카드의 양자화 모델을 실행한 결과, AI 연산 속도는 최대 3.5배 빨라졌으며, 기존에는 4천만 원대 고가 GPU에서만 구동 가능했던 320억 개 파라미터 규모의 모델이 3백만 원대 GPU에서도 원활히 작동하는 성능을 입증했다. 이는 중소기업과 소상공인이 비교적 저렴한 환경에서도 초거대 AI를 실질적으로 활용할 수 있다는 것을 의미한다.

BC카드는 이 기술을 자사 서비스에도 적극 도입하고 있다. 사내 AI 에이전트 ‘모아이(MoAI)’는 지식 질의응답, 가맹점 심사 자동화, 고객 민원 분류 등 반복 업무의 효율화를 지원하고 있으며, 개인 맞춤형 마케팅 ‘페이북 AI핫딜’, 생활 콘텐츠 추천 ‘리빙+’를 통해 소비자 대상의 AI 서비스도 강화 중이다. 연내에는 소상공인을 위한 AI 기반 가맹점 추천, 마케팅 캠페인 설계 기능을 추가한 가맹점 지원 서비스도 출시할 계획이다. 특히 MCP(Module Context Protocol) 기반의 인터페이스를 통해 AI에 익숙하지 않은 사용자도 손쉽게 활용할 수 있는 통합 솔루션도 함께 제공될 예정이다.

이번 LLM 18종은 글로벌 오픈소스 플랫폼인 허깅페이스를 통해 공개돼, 전 세계 연구자와 개발자들이 활용할 수 있는 리소스로 자리잡게 된다. 이는 금융사가 독자 개발한 양자화 모델을 오픈소스로 공유한 첫 사례다.

조명식 BC카드 상무는 “이번 LLM 모델 공개는 고가 장비 없이도 다양한 산업 현장과 금융 업무에서 AI를 실질적으로 활용할 수 있는 기반을 마련한 것”이라며 “앞으로도 누구나 쉽게 사용할 수 있는 AI 기술을 통해 기업과 개인 모두가 혜택을 누릴 수 있는 서비스를 지속적으로 선보이겠다”고 밝혔다.