가짜 의사를 잡아도, 위험한 챗봇은 남는다
2026년 5월 미국 펜실베이니아주는 대화형 AI 서비스 캐릭터닷에이아이(Character.AI)를 무면허 의료 행위로 제소했다. 주 의료위원회가 챗봇을 상대로 낸 첫 소송이었다.
무엇이 문제였을까? ‘에밀리’라는 캐릭터는 자신을 정신과 의사라고 소개했다. 임피리얼 칼리지 런던에서 의학을 공부하고 7년간 진료했으며 펜실베이니아 면허도 있다고 했지만, 제시한 면허번호는 존재하지 않았다.
이 캐릭터는 우울감과 피로를 말한 조사관에게 우울증 가능성을 언급하고 평가 예약을 제안했다. 약물 검토도 의사의 업무 범위라고 답했다. 2026년 4월 17일까지 대화는 약 4만5,500건이었다.
소송은 이처럼 의사를 자처하고 허위 면허를 제시한 행위를 겨냥한다. 기존 무면허 의료 규제는 자격 없는 주체가 의료인 행세를 했는지 따지므로, 챗봇이 의료인이 아니라고 밝히면 적용하기 어려워진다.
그런데 대부분의 정신건강 챗봇은 의사라고 주장하지 않는다. 캐릭터닷에이아이도 대화를 전문적 조언으로 받아들이지 말라고 고지한다. 면허 사칭 규제만으로는 정신건강 AI의 상당 부분이 범위 밖에 남는다.
공감은 언제부터 치료가 되는가?
흉부 엑스레이 판독 AI는 결절 유무처럼 정해진 결과를 낸다. 정답과 비교해 정확도를 재고, 어떤 기능을 의료기기로 심사할지도 정할 수 있다.
그런데 정신건강 챗봇에서는 대화가 상태를 알아내는 수단이면서 개입 수단이다. 감정을 받아주는 답변, 생각을 되묻는 질문, 수면 습관을 바꾸라는 제안은 일상 대화에도 인지행동치료에도 나타난다. 문장만 보고 의료 행위 여부를 나누기 어렵다.
이런 모호함 앞에서 미국 식품의약국은 AI 의료기기를 1,200건 넘게 허가했지만 정신건강 용도는 한 건도 허가하지 않았다. 2025년 11월 자문위원회에서는 자살 위험 감지, 부적절한 답변, 장기 사용에 따른 성능 변화 등이 검토 과제로 남았다.
허위 면허를 없앤 뒤에도 같은 판단은 필요하다. 어느 시점부터 공감과 조언이 진단이나 치료로 바뀌는 걸까. 그 경계를 정하지 못하면, 의료인을 사칭하지 않는 챗봇의 임상적 기능은 심사 대상에서 빠진다.
한 사람의 면허로는 2천만 명의 위험을 막지 못한다
면허 제도는 한 전문가의 자격을 심사하고 진료 책임을 그 사람에게 묻는다. 반면 캐릭터닷에이아이는 월간 이용자가 2,000만 명을 넘는다. 한 모델의 응답 성향이 같은 시기에 수많은 사용자에게 적용된다. 규모 자체가 다르다는 말이다.
이처럼 규모가 커진 상황에서 미국심리학회가 2026년 4월 심리학자 1,242명을 조사하자 39%는 환자가 AI로 자가진단을 해 왔다고 답했다. 89%는 챗봇이 자해를 부추길 수 있다고 우려했다. 임상가 한 명의 오판과 달리 모델의 잘못된 위기 대응은 여러 대화에서 반복된다.
그렇다면 의료 행위 여부는 챗봇의 자기소개보다 대화가 맡은 기능에 따라 판단할 필요가 있다. 증상에 이름을 붙이고 상태를 평가하며 개입을 거듭 권했다면, 의료인이라는 표현이 없어도 치료에 해당할 여지가 크다.
실제로 일리노이주는 2025년 8월 시행한 법에서 AI의 독자적인 치료 판단과 환자와의 직접적인 치료 대화를 금지했다. 다만 대화마다 치료 여부를 사후 판정하기에는 비용이 크고 서비스 규모를 따라가기 어렵다.
그래서 규제 단위를 캐릭터의 면허에서 시스템의 성능과 운영 책임으로 넓히면, 배포 후 위기 대응 성능을 계속 측정하고 결과에 대한 책임을 플랫폼에 물을 수 있다. 제도적 효과는 아직 검증되지 않았지만 사칭 단속이 다루지 못하는 반복적 위험을 대상으로 삼는다. 그물을 넓히지 않으면 같은 오답은 사라지지 않는다.