[AI 프리즘] “문제 발생 후 해결이 더 어려워”...삶 속에 침투하는 AI 범죄 ‘딥페이크’

딥페이크 기술이 점점 고도화되면서 합성 이미지를 활용하는 분야도 확대되는 분위기다. /Science Times — 딥페이크 기술이 점점 고도화되면서 합성 이미지를 활용하는 분야도 확대되는 분위기다. [사진=Science Times]

‘딥페이크’(deepfake)란 AI를 활용해 특정 인물을 정교하게 합성하는 기술을 말한다. 최근 딥페이크 기술이 점차 발전하면서 산업 전반에 걸쳐 사기가 급증하고 있다.

AI를 기반으로 한 딥페이크와 사기로 인해 은행에 수백만 달러를 빼돌리는 사기부터 의심스러운 건강 제품을 속이는 데 사용되는 딥페이크에 이르기까지 산업 전반에 많은 사람들이 막대한 피해를 보고 있다.

이는 신뢰에 의존하는 관계에 의문을 제기하고 있으며, 대형 AI 기업들이 스스로를 규제하려고 노력하는 상황에서도 이러한 문제는 계속되고 있다.

생성형 AI가 큰 인기를 끌기 전에 의사가 전화를 걸어 새로운 약을 처방해주겠다고 한다면, 일반적으로 수긍했을 것이지만 현재는 아니라는 것이 전문가들의 입장이다.

이와 관련 AI로 생성된 음성에 대해 광범위한 연구를 수행한 A&M 글로벌 사이버 연구소의 부소장 니테시 삭세나는 “AI는 분명히 커뮤니티가 강력하게 대처해야 할 다양한 유형의 차세대 사기 행태가 일어나고 있다”고 말했다.

최근 사례는 연방거래위원회가 제기한 새로운 소송을 통해 공개됐는데, 이 소송은 투자자들이 회사에 투자하면 높은 현금 수익을 약속한 오토메이터 AI를 일시적으로 폐쇄하라는 법원 명령을 촉발시켰다.

이 소송에 따르면 고객들은 이 회사가 운영하는 온라인 스토어에 2,200만 달러를 투자했지만, 해달 소비자들이 소실에 대해 불만을 제기하자 환불 대신 다른 플랫폼에 새로운 온라인 스토어를 개설해 주겠다고 제안했다. 또한 연방거래위원회에 따르면 고객들에게 비방 금지 계약서에 서명하도록 권유했다.

FTC의 소비자 보호국 국장 사무엘 레빈은 성명에서 오토메이터 AI가 “높은 수익률을 약속하고 AI를 사용해 그러한 수익을 창출함으로써 가족을 부양하려는 소비자를 먹잇감으로 삼았다”고 말했다.

그는 이어 "일부 소비자는 수만 달러를 잃었고, 많은 소비자는 평생 모은 돈을 잃었다"고 덧붙였다. 이 법원 명령은 은행의 AI 증강 사기에 대한 취약성을 드러낸 블룸버그 보고서와 같은 날 보도됐다.

이 보고서에 따르면 미국 소비자들은 2022년에 2021년 보다 44% 증가한 80억 달러 이상이 손실을 입었다. 은행이 보안을 강화해도 손실은 계속 증가하고 있다는 것이다.

또한 소셜 미디어도 AI의 유혹에 넘어가고 있다. 미국 미디어 매터스(Media Matters for America)의 최근 보고서에 따르면, 한 연구자는 틱톡의 판매자가 딥페이크 의사, 즉 다른 사람처럼 보이도록 얼굴을 디지털로 조작하고 실제로는 하지 않은 말을 하는 것처럼 보이는 의사를 건강 제품 판매에 활용하고 있다는 사실을 발견했다.

틱톡 사용자는 해당 제품이 의료 전문가가 보증하거나 홍보하는 제품이라고 믿을 수 있지만, 실제로는 인기 계정에서 실제 의사의 이미지를 가져와 다른 사람의 머리에 디지털 방식으로 이식해 운영되는 것이라고 전문가들은 전했다.

2019년, 연구진들은 AI가 생성한 음성과 실제 음성을 구별하는 데 어려움을 겪는다는 사실을 발견했는데, 이는 AI의 능력보다는 사람의 실수 때문이라고 밝혔다.

삭세나는 "자녀의 번호로 전화가 걸려오는 경우 상대방의 목소리가 자녀의 목소리처럼 들리면 자녀라고 생각하게 된다"며 "사회공학적 공격을 하는 동안 악의적인 공격자들은 실제 공포를 이용해 거짓을 실제라고 믿게 만드는 경향이 있다"고 설명했다.

사기꾼들은 심지어 3D 프린트를 사용해 실제 사람의 얼굴로 매우 사실적인 마스크를 인쇄해 가짜 신분증을 만들고 신원을 검증할 수 있다고 전문가들은 설명했다.

수년간 AI가 합성 물질을 만드는 데 어떻게 사용되는지 연구해온 삭세나는 "사람의 목소리나 얼굴을 모방할 수 있는 도구는 몇 가지 밖에 없었으며, 이러한 도구는 사용하기가 매우 어려웠다"고 말했다.

이어 그는 “AI는 새로운 기준을 세웠고, AI의 붐과 함께 이러한 도구는 더 일반화되고 다양해졌으며 공격자도 쉽게 사용할 수 있게 됐다”며 “생성 AI 모델의 대부분은 대규모 데이터 세트로 학습돼 이전 접근 방식에서는 그다지 좋지 않았던 가짜 콘텐츠 생성의 정확도가 향상 됐다”고 밝혔다.

최근 미국 연방거래위원회(FTC)의 리나 칸 위원장은 AI가 사기꾼의 능력을 가속화 하는 것에 대해 한 행사를 통해 “우리는 일찍부터 경계를 늦추지 말아야 할 것”이라며 “무엇보다도 이러한 문제가 발생한 후에는 문제를 해결하기가 훨씬 더 어렵기 때문에 초기에 특히 주의를 기울여야 할 것”이라고 경고했다.

[위키리크스한국= 유 진 기자]

yoojin@wikileaks-kr.org

유 진 기자 다른기사 보기