은행권의 AI 활용 응대 서비스 예상도. 사진=Grok
 

전 세계 금융산업이 인공지능(AI)을 중심으로 급격히 재편되는 가운데, 그 혁신의 이면을 좀더 면밀히 들여다봐야 한다는 지적이 나온다. AI의 전면 도입으로 금융의 본질이 바뀌어가는 과정에서, 새로운 시스템 리스크가 만들어지고 있다는 것.

일반적으로 AI의 판단은 축적된 데이터의 양과 품질에 의해 결정된다. 만약 그 데이터가 불완전하거나 특정 집단에 편향되어 있다면, 그 결과 역시 불공정해지기 쉽다. 일례로, 미국의 한 대형 은행은 신용평가 AI 모델이 여성과 이민자에게 불리한 대출 결과를 산출해 논란을 빚었다. 과거의 금융 데이터를 그대로 학습한 결과, 사회적 불평등이 알고리즘 속에 복제된 것이다. 이처럼 AI는 객관적 판단인 것처럼 보이지만, 오히려 인간의 편견을 수학적으로 정교하게 재생산할 위험을 안고 있다.

이뿐만이 아니다. 딥러닝 기반의 AI 모델은 그 결과를 해석하기 어려운 ‘블랙박스(blackbox)’ 구조를 갖기 쉽다는 문제가 있다. ‘AI 블랙박스’란 복잡한 AI의 내부 작동 방식을 인간이 이해하기 어렵거나 불가능한 상태를 지칭한다. AI가 특정 결정을 내리거나 결과물을 생성한 이유를 알 수 없기 때문에, AI 기술의 신뢰성과 투명성에 확신을 갖기 어렵게 된다.

예를 들어, 은행이 AI의 판단으로 대출을 거절하고, 고객이 “왜?”라고 물을 때, 담당자조차 그 이유를 명확히 설명하지 못하는 상황이 벌어질 수 있다. AI가 판단을 내렸지만, 모든 결정의 책임은 그것을 기반으로 최종 판단을 확정한 결정권자에게 있다고 봐야 할 것이다. 하지만, 결정권을 가진 담당자는 AI가 결정한 과정을 이해하기 어렵다. 이런 이유로 업계에서는 ‘설명 가능한 AI(eXplainable AI, XAI)’의 구축이 절실하다고 입을 모은다.

책임 소재의 문제도 있다. AI가 내린 대출, 투자, 보험 결정이 잘못됐을 때 누가 책임질 것인지, 개발자, 금융기관, 혹은 AI 그 자체인지에 대한 문제다. 현행 금융법과 감독체계는 명확한 답변을 갖고 있지 않다.

여러 AI 알고리즘이 비슷한 데이터를 학습함으로써 결과적으로 비슷한 결론을 도출하는 경우가 많다는 것도 문제다. 금융기관 다수가 동일한 모델을 기반으로 의사결정을 내린다면 어떤 일이 일어날까? 주가 예측 모델이 같은 방향으로 작동할 경우, 시장 전체가 한쪽으로 쏠리며 변동성이 급격히 커질 수 있다. 과거 2008년 글로벌 금융위기 당시 파생상품 모델이 보여준 ‘집단적 오판’이 재현될 수 있는 것이다. 이쯤되면 AI는 시장의 안정성을 높이기보다, 오히려 새로운 시스템 리스크의 원인이 될 수 있다.

또 다른 위험요소는 해킹 우려다. AI는 금융기관의 데이터와 시스템을 한데 연결시킨다. 이는 효율성을 높이지만 동시에 공격면(attack surface)을 넓히는 결과를 낳는다. 딥페이크를 활용한 금융사기, AI 챗봇을 노린 피싱, 학습 데이터 유출 등 새로운 형태의 보안 리스크가 속속 등장하고 있으며, 특히 ‘적대적 공격(Adversarial Attack)’은 AI 모델에 교묘히 조작된 데이터를 주입해 오판을 유도한다. AI 보안은 단순한 IT 과제가 아니라, 금융 안정성의 핵심 요소인 것이다.

이처럼 AI는 아직도 풀어야할 과제가 많다. 데이터의 편향, 모델의 불투명성, 해킹 리스크, 군집적 착각, 윤리 공백 등의 위험은 앞으로도 지속적으로 체크하고 관리해야 할 요소들이다.

이쯤되면, AI를 ‘빠르게’ 도입하는 것이 아니라 ‘깊게’ 통제하는 것이 진정한 경쟁력이지 아닐까 하는 생각도 든다. 어쩌면 지금 금융권이 서둘러야 할 일은 기술의 속도를 경쟁하는 것이 아니라, 기술의 방향을 점검하는 일일 수 있다.

< 문화경제 정의식 기자 >