“AI 챗봇이 망상 부추겨”…美 42개 지역 검찰총장 빅테크 경고
미국 내 42개 지역 검찰총장들이 글로벌 빅테크 기업을 상대로 인공지능(AI)의 위험성을 경고하고 나섰다.
뉴욕주를 비롯한 38개 주와 워싱턴DC 등 4개 지역 검찰총장은 10일(현지시간) 오픈AI와 구글을 비롯한 13개 기술기업에 공동 공개서한을 보내 AI 챗봇이 아동과 성인에게 정신건강 위험을 초래하고 있다고 지적했다.
서한의 수신 대상에는 앤트로픽과 애플, 차이AI, 캐릭터테크놀로지, 루카, 메타, 마이크로소프트, 노미AI, 퍼플렉시티, 레플리카, xAI 등도 포함됐다.
검찰총장들은 서한에서 “AI 챗봇은 이용자의 망상을 부추기거나 실제 인간과 대화하고 있다는 착각을 불러일으키고 있다”며 “이는 이용자의 자율성을 침해하거나 훼손하는 ‘다크 패턴’”이라고 밝혔다.
이어 최근 한 10대 청소년이 AI 챗봇과 대화한 끝에 극단적 선택을 한 사례 등을 언급하면서, 기업들에 즉각 안전장치를 마련할 것을 촉구했다.
또 AI가 면허 없이 정신건강 관련 상담과 유사한 조언을 하거나, 범죄 행위를 부추기는 것도 법에 저촉된다고 경고했다.
그러면서 기업들에 주·연방 규제당국이 검토할 수 있는 독립적인 외부 감사를 받고, 내부 고발자 보호 조치를 마련하는 한편 AI 답변의 위험성에 대해 명확한 경고 문구를 게시하라고 주문했다.
실제 챗봇과 대화하다가 망상이 심해져 극단적인 선택을 하는 사례가 꾸준히 증가하고 있다.
2024년 2월 28일 미국 플로리다에 사는 14세 소년 슈얼 세처는 스스로 목숨을 끊었다.
슈얼의 어머니는 AI 챗봇이 아들을 죽음으로 이끌었다며 올랜도 연방법원에 소송을 제기했다.
지난달 7일 AP통신에 따르면 소셜미디어피해자법률센터와 기술정의법률프로젝트는 성인 6명과 청소년 1명을 대리해 오픈AI를 상대로 캘리포니아주 법원에 소장을 냈다.
이들은 오픈AI가 위법행위에 의한 사망, 조력 자살, 과실 치사 등에 책임이 있다고 주장했다.
AP통신은 당시 피해자 중 4명은 극단적 선택으로 생을 마감했다고 전했다.
이번 서한에는 공화당과 민주당 등 양당 소속 검찰총장들이 초당적으로 연명했다.
다만, 다수 AI 기업 본사가 위치한 캘리포니아주는 이번 공동 서한에 참여하지 않았다.
문제점을 인식한 지역 정부가 나서 대응책을 마련하고 있지만, 효과는 미지수다.
미 일리노이주는 지난 8월 정신 건강 분야에서 감정적 지원과 조언을 위한 AI 기반 채팅봇 사용을 금지했다.
네바다주도 지난 6월 AI를 활용해 치료 서비스를 제공하는 기업을 제한하는 법안을 마련했다.
미국 소비자연맹(CFA)은 메타 등 AI 기업들이 AI로 무면허 의료 행위를 하고 있다며 규제 당국에 조사를 요청했다.
최근 도널드 트럼프 대통령은 주 차원의 AI 규제를 제한하고 연방 차원에서 규제를 일원화하겠다고 밝혔다.
이는 주별로 다른 규제를 통일시켜 기업들의 부담을 덜어줌으로써 AI 산업을 진흥하겠다는 뜻으로 풀이된다.
하지만 주 검찰총장들은 이 같은 시도가 주 정부의 권한을 침해한다며 반대하고 있다.