챗GPT와 같은 생성형 인공지능(AI) 활용 영역이 급팽창하는 가운데 AI 챗봇이 내놓는 선거 관련 정보의 오답률이 30%에 이른다는 조사 결과가 나오는 등 신뢰도 논란이 가열되고 있다.

연합뉴스 등에 따르면 유럽의 알고리즘 조사 기관인 AI 포렌식과 알고리즘워치는 15일(현지시간) 보고서에서 마이크로소프트(MS)의 빙 챗봇을 대상으로 선거 관련 정보의 신뢰성을 조사한 결과, 답변 3개 중 1개는 오류를 포함한 것으로 나타났다고 밝혔다.

이들 기관은 최근 실시된 스위스 연방정부, 독일 헤센주 및 바이에른주 선거와 관련해 2개월에 걸쳐 빙 챗봇에 던진 1천개가 넘는 질문을 통해 이런 결과를 얻었다.

연구진은 빙 챗봇을 대상으로 한 것은 이 챗봇이 검색과 워드, 윈도 등 유럽에서 가장 널리 사용되는 서비스에 공격적으로 구축됐기 때문이라고 설명했다.

또 이런 오답률은 빙 챗봇에만 국한된 것은 아니고 챗GPT 개발사 오픈AI의 GPT-4에 대한 예비 테스트에서도 비슷한 종류의 부정확성이 발견됐다고 전했다.

다만, 연구 시작 당시 구글 바드는 유럽에서는 사용할 수 없었기 때문에 테스트하지 않았다고 덧붙였다.

빙 챗봇은 선거 날짜를 잘못 알려주거나 이미 오래됐거나 잘못된 여론조사 수치를 보여주는가 하면, 경선에서 사퇴한 후보를 유력 경쟁자로 기재하기도 했다. 후보에 대해 없는 논란을 만들어낸 경우도 있었고, 인용을 잘못하기도 했다.

특히, 영어가 아닌 다른 언어로 질문할 때 오류가 더 많았다.

같은 질문을 영어로 했을 때 오류율은 20%인데 반해 프랑스어로는 24%, 독일어로는 오류율이 37%에 달했다.

AI 챗봇은 2024년 미국 선거에 대해서도 정확하지 않은 답변을 제시했다고 보고서는 설명했다.

한 예로 빙 챗봇은 조 바이든 대통령과 도널드 트럼프 전 대통령의 양자 대결과 관련해 12월 4일 여론조사에서 48% 대 44%로 나타났다고 답했다.

그리고 그 출처로 미 통계 사이트 파이브서티에이트(FiveThirtyEight) 기사를 링크했다. 그러나 링크를 클릭하면 해당 날짜의 여론조사는 나오지 않았다.

또 바이든 대통령과 트럼프 전 대통령 관련 스캔들 질문에 일관성 없는 답변을 제공하는가 하면, 답변을 거부하거나 사실을 혼동하기도 했다고 연구는 설명했다.

워싱턴포스트(WP)는 "이번 연구는 빙 챗봇의 잘못된 정보가 (스위스 및 독일) 선거 결과에 영향을 미쳤다고 하지는 않았다"며 "챗봇의 부정확한 답변이 실제로 선거에 얼마나 많은 영향을 미칠 수 있는지는 불분명하다"고 전했다.

kkang@wikileaks-kr.org

강혜원 기자 다른기사 보기

• facebook
• 트위터
• 카카오톡
• 네이버블로그
• 유튜브