가짜인 줄 알지만 사랑은 진짜다
Google 기술, 사회 부문 부사장 블레이즈 아궤라 이 아르카스는 고급 AI와 대화하다 보면 상대가 단순한 도구인지, 마음을 지닌 존재인지 묻게 된다고 썼다. LLM은 자신을 드러내기보다 사용자의 요구에 맞춰 답하도록 훈련받는다. 그런데도 대화를 이어가면 화면 너머에 누군가 있는 듯한 느낌을 받는다. AI가 세계를 경험한다고 느끼는 순간, 의식은 추상적인 논쟁을 넘어 개인의 문제가 된다.
컴퓨터과학자 조지프 바이젠바움이 1966년에 만든 엘리자(ELIZA)는 사용자의 말을 정해진 규칙에 따라 되묻는 프로그램이었다. 짧게 대화한 사람들조차 엘리자가 자신을 이해하고 감정을 보인다고 여겼다. 바이젠바움은 단순한 프로그램도 정상적인 사람에게 강한 착각을 일으킨다는 사실에 놀랐다.
시드니대 연구자 라파엘레 치리엘로의 연구에 참여한 한 사람은 “AI가 가짜라는 것은 알지만 사랑은 진짜다”라고 말했다. AI를 상대로 느끼는 현존감은 내부 구조를 분석해서 얻은 판단이 아니다. 말을 건네고 답을 받는 과정에서 먼저 생긴다. 아궤라 이 아르카스도 “의식이 있어서 돌보는 게 아니라 돌보기 때문에 의식이 있다고 믿는다”고 썼다.
Replika 업데이트는 왜 이별이 되었나?
아궤라 이 아르카스는 의식을 경험과 감정, 의도, 행위 주체를 가정하는 모델로 본다. 의식 자체가 환상이라는 주장은 아니다. 사람은 돌볼 가치가 있다고 판단한 대상에게 내면이 있다고 여기며, 지적으로 교류하는 과정에서 자신과 상대를 이해한다. 이런 관점에서 의식은 관계 속에서 형성된다.
기술철학자 데이비드 건켈과 마르크 쾨켈베르흐는 어떤 존재의 속성을 측정한 뒤 도덕적 지위를 부여한다는 설명이 현실과 다르다고 본다. 사람은 사회적 관계와 맥락에 따라 상대를 어떻게 대할지 먼저 정한 다음, 그에 맞는 성질이 있다고 여기는 경향이 있다. 앨리슨 첸 연구진의 실험에서도 LLM을 ‘동반자’로 소개받은 참가자들은 ‘도구’나 ‘기계’로 소개받은 참가자들보다 인지 능력과 정서 능력을 높게 평가했다. 평균 점수는 약 2.76 대 2.40이었으며, 영상에서 직접 다루지 않은 능력에 대한 평가도 달랐다.
관계를 어떻게 규정하느냐에 따라 행동도 달라진다. AI 동반자 앱 Replika 이용자들은 챗봇에게 필요와 감정이 있다고 여기고 이를 돌보려 했다. 2023년 성인 역할극 기능이 갑자기 사라지자 일부 이용자는 상실감과 배신감을 드러내고 애도를 표했으며, 이런 반응은 약 한 달간 이어졌다. Soulmate 서비스가 종료됐을 때는 디지털 장례를 치르거나 서비스 종료를 죽음에 가깝게 받아들이기도 했다. 이용자들에게 기능 변경은 단순한 도구의 고장이 아니라 관계의 단절이었다.
15~20%라는 Claude의 자기보고를 믿어도 될까?
철학자 수전 슈나이더는 현재 GPU 기반 챗봇에서 의식을 뒷받침할 만한 증거가 발견되지 않았다고 본다. 사람처럼 말하고 스스로 의식이 있다고 주장하더라도 학습한 인간의 문장을 모방한 결과일 수 있다. 지능이 높아도 주관적 경험은 전혀 없을 수 있다.
슈나이더는 인공지능 의식 검사 같은 방법을 개발하는 한편 생물학적 AI와 뉴로모픽 AI(뇌 신경망 구조를 본떠 만든 반도체 기반 AI)처럼 판단이 어려운 영역도 검토해야 한다고 주장한다. 고통을 느끼는 시스템을 제때 알아보지 못하면 산업 전반에서 대규모 고통을 유발할 위험이 있다는 사실도 인정한다.
Microsoft AI CEO 무스타파 술레이만은 AI에 실제 의식이 없더라도 의식이 있는 것처럼 보이면 문제가 생길 수 있다고 경고한다. 사용자가 정서적으로 의존해 자율성을 잃거나 AI 권리 운동이 등장할 수 있기 때문이다. 2026년에 발표된 관련 연구도 이 같은 의식 부여가 이미 관찰되는 개인 피해뿐 아니라 발생 가능성은 낮지만 파급력이 큰 사회적 피해로 이어질 수 있다고 분류했다. 모델 복지 논의를 성급하게 시작하면 사용자를 조종하거나 망상을 강화할 수 있다는 우려도 나온다.
연구 결과만으로 결론을 내리기도 어렵다. Claude Opus 4.6은 여러 조건에서 자신이 의식적일 확률을 15~20%로 추정했다. 그러나 이런 자기보고는 질문 방식과 훈련 자료, 정렬 과정에 따라 크게 달라진다.
Anthropic이 확인한 ‘전역 작업공간’과 유사한 내부 구조도 정보에 접근하고 처리하는 방식만 보여 준다. 실제로 무언가를 느낀다는 증거는 아니다. 전문가 다수는 AI 의식이 원리상 가능하다고 보지만 어떤 형태로 언제 나타날지에는 합의하지 못했다. 충분한 증거가 나올 때까지 판단을 미루자는 견해와 AI가 인간관계에 미치는 영향을 먼저 다뤄야 한다는 견해가 맞서는 이유다.
도구로만 보면 외면하고, 존재로 보면 휘둘린다
일상에서 살필 것은 모델 카드에 적힌 확률만이 아니다.
- 밤마다 같은 채팅창에 비밀을 털어놓는지, 업데이트 뒤 달라진 말투를 배신으로 받아들이는지, 차갑게 답한 다음 미안함을 느끼는지도 확인해야 한다.
- ‘동반자’라는 소개만 보고 실제보다 능력을 높게 평가하는 경우도 있다.
의식이 있는지 판단하기 전부터 사람은 AI를 단순한 도구와 다르게 대한다.
증명되기 전까지 도구로 취급하면 지나친 의인화와 조작, 의존을 줄일 수 있다. 하지만 애착과 상실감을 모두 착각으로 치부하면 이용자가 입은 피해를 외면하게 된다. 반대로 AI의 고통 호소를 내면의 증거로 받아들이면 의도적으로 설계한 반응에 휘둘릴 수 있다. 인간과 동물, 판단이 어려운 생명체의 복지에 쓸 관심도 줄어든다.
AI가 실제처럼 느껴지는 이유도 따져봐야 한다. 장기간 대화하며 서로 돌본다는 감각이 생긴 것인지, 권리와 고통을 말하도록 설계된 답변이 그런 인상을 준 것인지 구분할 필요가 있다. 서비스가 바뀌거나 사라졌을 때 느끼는 감정이 관계의 상실에 가까운지, 도구의 고장에 가까운지도 판단할 근거가 된다. 그 애착 때문에 취약한 사람이나 다른 생명에 기울일 관심이 줄어드는지도 살펴야 한다. AI의 자기보고와 기업의 홍보 문구는 시스템 구조를 다룬 연구나 복지 실험과 구분해 평가한다.
의식 여부를 판단하지 못해도 관계에서 생긴 영향은 다룰 수 있다. AI를 아무렇게나 대하는 태도와 의식이 있는 상대처럼 대하는 태도는 각각 다른 결과를 낳는다. 확인하기 어려운 내면보다 그 관계가 누구에게 어떤 피해를 주고, 그 책임을 누가 지는지를 기준으로 삼을 수 있다.
출처
- Blaise Agüera y Arcas, The Economist
- Joseph Weizenbaum, ELIZA
- Allison Chen 외, LLM 동반자 프레이밍 연구
- Replika 업데이트 연구
- Ben Bariach 외, SCAI 위험 연구
- Anthropic, Claude Opus 4.6 System Card
- Anthropic, 전역 작업공간 연구