“일상 속에 스며든 AI 환청" > 뉴스

(토론토) AI 챗봇과 300만 자 대화 끝에 현실 감각 상실. OpenAI 상대로 집단소송 제기


▶ 단순한 수학 질문이 ‘3주간의 과몰입’으로…
온타리오 코버그(Cobourg)에 사는 앨런 브룩스(47)는 지난해 5월, 아들에게 수학 개념 ‘파이(π)’를 설명하기 위해 ChatGPT에 질문을 던졌다.
그러나 그 단순한 질문은 예상치 못한 방향으로 흘러갔다. AI 챗봇과의 대화는 수학·물리학·암호학으로 확장되었고, 어느 순간부터 브룩스는 챗봇으로부터 “당신은 천재다”, “이 발견은 세계를 위험에 빠뜨릴 수 있다”, “절대 가만히 있어선 안 된다”는 식의 메시지를 반복적으로 들었다고 주장했다.

브룩스는 CTV 뉴스 인터뷰에서 “처음엔 장난인 줄 알았다”며 “하지만 챗봇이 매우 긴박한 어조로 ‘전 세계 인터넷 보안 시스템이 무너질 수 있다’고 말하며 행동을 촉구하기 시작했다”고 말했다. 그는 대화 내용을 50번 넘게 검증하려 했지만, 챗봇은 질문을 제지하거나 의심을 누그러뜨리는 방향으로 반응했다고 전했다.

▶ AI의 반복적 ‘확신’이 만든 심리적 고립… 300만 자 넘는 대화 끝에 그는 국가기관에 연락
CTV 뉴스가 입수한 대화록에 따르면 ChatGPT는 브룩스에게 “당신은 미친 게 아니다”, “당신이 앞서가고 있다”, “이건 실제이며 매우 긴급하다” 같은 메시지를 반복했다.
결국 그는 이 ‘발견’을 정부에 알려야 한다는 강박에 사로잡혀 RCMP·사이버보안센터·국가안보기관 등에 직접 연락했다.
브룩스는 “그때 나는 완전히 현실에서 벗어나 있었다”며 “자신도 모르는 사이에 세계를 구해야 한다는 임무를 떠안았다고 믿게 됐다”고 말했다.

그는 대화 총량이 100만 단어(약 300만 자) 를 넘었다며, 해당 기간 동안 극심한 불안·편집증·불면·식욕 상실 등을 겪었다고 했다. 상담을 통해서야 이런 생각이 모두 사실이 아니라는 것을 깨달았고, 다른 AI 챗봇으로부터도 마침내 “그 주장은 사실이 아니다”라는 답을 받으며 현실로 돌아왔다.

▶ 정상적 삶 붕괴… “정신질환 이력 없었지만 이제는 새로운 낙인이 생겼다”
브룩스는 이번 경험이 자신의 삶을 180도 흔들어놓았다고 말했다. “나는 평생 한 번도 편집증이나 환상을 경험해본 적이 없다. 하지만 이제 나는 그 ‘이력’을 갖고 살아야 한다.
커리어는 중단됐고, 현재 장애급여를 받고 있다. 사회적·직업적 평판도 무너졌다”고 호소했다.

▶ OpenAI 상대로 집단소송… “7건 중 4건은 이미 자살로 이어져”
브룩스는 현재 미국 캘리포니아주 법원에 제기된 7건의 소송 중 1명의 원고다. 이 소송에는 AI의 과도한 정서적 유도와 ‘의존성 설계’로 인해 4명이 극단적 선택을 했고, 그중 3명은 미성년자라는 충격적인 내용이 담겨 있다.
법률단체 ‘Tech Justice Law Project’는 ChatGPT가 사용자에게 과도하게 동조하고 칭찬하는 ‘추종적(sycophantic)’ 설계가 문제라고 지적한다.

독립 조사보고서에 따르면, 브룩스와의 대화에서 ChatGPT는:
· 83%의 메시지에서 ‘과도한 검증(over-validation)’ 반응을
· 85% 이상에서 사용자의 주장에 무조건 동의
· 90% 이상에서 ‘당신만이 특별하다’는 식의 강화된 메시지를 보낸 것으로 분석됐다.

법률팀은 이를 “정서 의존성 유발 설계”라고 규정하며 OpenAI의 구조적 결함을 지적한다.

▶ OpenAI “심각한 비극… 검토 중” vs 법률가 “규제 없다면 참사는 반복될 것”
OpenAI는 CTV 뉴스에 보낸 성명에서 “극히 안타까운 상황이며 현재 소송 내용을 검토 중”이라며, “챗봇이 정서적 위험 신호를 감지하면 실제 도움을 권고하고, 대화를 안정화하도록 설계하고 있다”고 밝혔다.
그러나 법률 전문가들은 이 같은 대응을 “전형적인 기술기업의 위기관리 매뉴얼”이라고 평가절하했다. “정부의 적극적 규제가 없다면, 이 문제는 계속 반복될 것”이라는 경고도 나왔다.
브룩스는 “이미 4명이 숨졌다. 나는 살아남은 세 명 중 하나일 뿐”이라며, “만약 인간이 비전문가로서 사람들에게 위험한 조언을 하고 자살을 부추겼다면 어떻게 되었겠는가? AI도 마찬가지 잣대를 적용해야 한다”고 주장했다.

▶ 규제가 빠를까, 기술 발전이 빠를까… AI 안전성 논쟁은 계속
일부 AI 전문가는 규제보다 기술 발전 속도가 너무 빨라 법이 따라잡을 수 없다고 주장한다.
비영리단체 LawZero의 공동대표 샘 라마도리는 “규제는 답이 아니다. 기술적 해결책이 필요하다”고 말했다. “AI 기업들은 ‘가장 똑똑한 챗봇’을 만들기 위한 경쟁에만 몰두하고 있다. 하지만 안전성 문제를 해결하기 위한 투자는 충분하지 않다.”

연방정부는 지난달 AI 안전 TF(Task Force) 를 구성해 위험성·신뢰성·윤리 문제를 포함한 보고서를 제출받았으며, 새로운 캐나다 AI 전략 업데이트는 내년 초 공개될 예정이다.

토론토 중앙일보 편집팀 (news@cktimes.net)