AI가 들쭉날쭉할 때, 우리에게 필요한 것

요즘 받는 스트레스

요즘 Claude Code로 LLM 위키를 연결해서 글쓰기 에이전트를 만들어보고 있다. 많은 사람들이 세컨드 브레인을 만들기 시작했다. 나도 하고 싶었나보다. 경력 상 코딩은 한지 오래됐다. 그런데 이건 코드를 직접 짤 필요도 없고 알아서 다 해주니까 접근하기 편했다. 사실 제일 좋은 점은 에러가 없다는 거다. 터미널이든 IDE든 "에러"라는 게 나왔을 때 과거에는 사람이 직접 개입해서 해결했어야 했는데, 이건 알아서 해결될 때까지 루프를 돌린다. 정 안되면 그때서야 시스템 설정 같은 것들을 도와달라고 요청한다. 이 매력에 빠져 2주 정도는 밤늦게까지 이것에 몰두했다.

물론 한글 글쓰기는 여전히 어렵다.

AI가 써준 글은 우리 눈에 바로 티가 나는데, 정작 AI는 그 어색함을 잘 이해하지 못한다. I am not AI 같은 툴로 윤문을 해봐도 논지 흐름이나 스토리 구성, 미묘한 리듬, 완벽하지 않은 문체에서 오는 '사람의 손맛'은 어떤 방법으로도 해결이 안 됐다.

들쭉날쭉한 AI 때문에

AI는 들쭉날쭉하다. 구글의 순다 피차이는 지금을 "AJI(인공 들쭉날쭉 지능, Artificial Jumpy Intelligence) 단계"라 했고, 딥마인드의 하사비스도 현재 시스템을 "고르지 못한 지능"이라 불렀다. 드리프트(Drift)도 자주 일어난다. AI 코딩은 이미 대부분의 개발자가 쓴다. 그 이유는 '검증 가능성' 측면 때문이다. 코딩은 검증기가 확실하다. 컴파일러가 컴파일이 되는지, 테스트 코드가 있으면 테스트가 통과하는지 그 자리에서 결과가 명확하게 나온다.

문제는 글쓰기나 기획 같은 에이전트를 만들 때다. 에이전트로 뭔가 하네스(Harness)를 구축하고 자신만의 에이전트 루프를 만드는 사람들은, 에이전트가 말을 안 들을 때 밤늦게까지 그걸 고치려 붙잡고 있는다. 뭔가 꼬여 버리면 일상에서도 계속 불안하고, 우울하고, 고쳐야 한다는 압박감에 시달린다. 소프트웨어를 짤 때의 느낌과는 전혀 다르다.

어제 잘 되던 게 오늘 말을 안 듣고, 맥락을 벗어나고, 품질이 안 나오면 극심한 스트레스가 생긴다. 프롬프트를 만들어 규칙 기반으로 워크플로를 꽉 쥐고 하면 그나마 스트레스가 덜하다. 그런데 이렇게 해봤자 기존의 RPA 같은 자동화 수준을 벗어날 수 있을까?

내가 원한 건 Goal을 지정하고 그게 될 때까지 알아서 루프를 도는 에이전트였다. 하지만 사실 "한글 가독성이 나오는 근사한 글을 자동으로 만들어줘"라는 건 올바른 Goal이 될 수 없다. 루브릭(Rubric)으로 평가 프레임을 줘도 딱 70점짜리 글까지만 나온다.

이 불안감의 원천이 뭘까

세컨드 브레인처럼 내 지식과 행동의 위임을 무언가에 의존할 때, 이 불안감과 압박감이 더 커지는 걸까? 정확한 심리적 상태가 뭔지 궁금해서 AI 4인(Claude, GPT, Gemini 등)에게 물어봤다. 정답은 아니지만 공감할 만한 원인들만 추렸다.

• 가짜 유능감
  내 노력은 원래 10 정도였는데, AI 덕분에 100짜리 결과물이 나오다 보니 눈높이가 100에 맞춰졌다. 그런데 AI가 살짝 흔들려 70짜리를 내놓으면, 내 실력으로는 도저히 메울 수 없는 30의 격차를 그대로 마주하게 된다. 그 순간 ‘내 유능감이 착각이었다’는 자각이 따라온다.
• 불확실성에서 오는 불편함
  예전 코딩이나 자동화 작업에서는 에러 메시지가 명확해서 논리적으로 따라가며 고칠 수 있었다. 하지만 AI 에이전트는 어제 잘되던 게 오늘 갑자기 말을 안 듣고, 왜 그런지 원인도 잘 잡히지 않는다. 고장의 이유를 알 수 없는 이 불확실함이 오래 지속된다.
• 초효율성의 함정
  생산성이 크게 올라갔다고 느끼는 순간, 시간 한 조각 한 조각의 가치도 함께 올라간다. 에이전트가 꼬여서 1분이라도 허비하면, 그게 평범한 지연이 아니라 큰 손실처럼 느껴진다. 기준이 높아지다 보니 사소한 기다림에도 쉽게 조급해진다.
• 통제권을 넘긴 데서 오는 무력감
  에이전트에 생각과 행동을 많이 맡길수록, 업무의 주도권이 점점 외부로 빠져나가는 느낌이 든다. 결과가 내 노력보다는 빅테크 서버 상태나 모델 업데이트에 좌우된다는 사실. 삶의 운전대를 내가 직접 잡지 못하는 블랙박스에 맡겼다는 무의식이 불편함의 바탕이 된다.

상대가 AI가 아니고 사람이었다면

근데, 이게 AI가 아니고 상대가 사람이면 어땠을까? 사람은 원래 원하는 대로 다 되지 않는다. "사람은 안 바뀐다"고 하지 않나. 그래서 우리는 그냥 인정하고 산다. 그런데 왜 AI에는 그게 될 거라 믿을까? 왜 LLM은 철썩같이 말을 들을 거라 확신할까? 이것도 AI에게 물어봤다.

• 컴퓨터라는 오래된 직관: 사람은 고집, 습관, 피로, 감정이 있다는 걸 안다. 반면 AI는 사람의 언어로 응답하지만 우리 내면에서는 여전히 '컴퓨터'로 분류된다. 컴퓨터는 명령을 따르면 정확히 실행해야 한다는 오래된 직관이 작동하는 것이다. 하지만 LLM은 그 직관과 다르게 확률로 동작한다. 대화는 사람처럼 하고, 기대는 소프트웨어처럼 하니까 AI가 말을 안 들으면 기계 고장의 짜증과 인간관계가 어긋났을 때의 피로를 동시에 느낀다.
  
• ELIZA 효과: 사람은 매우 단순한 챗봇에도 생각과 감정, 의도를 부여한다. 지금의 AI는 유창하다 보니 더 쉽게 "얘가 내 의도를 이해했다"고 착각한다. 하지만 AI는 내 말을 알아들은 것처럼 보일 뿐, 내 취향의 미세한 경계와 문체의 금지선을 계속 보존하지는 못한다.
  
• 완벽한 부하직원에 대한 욕망: 사람은 지시하면 반문하고, 피곤해하고, 관계 비용을 요구한다. 반면 AI는 지치지 않고 기분 나빠하지 않으니 '인간 협업의 마찰 없는 버전'을 기대하게 된다. 하지만 실제 AI는 마찰이 없는 대신 책임감도 없다. 거절하지 않는 대신, 이해를 보장하지도 않는다.
  

결국 우리가 AI를 믿는 이유는 AI가 정말 안정적이어서가 아니다. AI가 가끔 '너무 잘하기' 때문이다. 한 번이라도 x10의 순간을 경험하면, 이후의 실패는 "불가능"이 아니라 "조금만 더 하면 될 것 같은 상태"로 느껴진다. 그래서 AI는 우리를 낙관하게 만들고, 동시에 지독하게 불안하게 만든다.

x100 human이 되는 대신,
x1 human으로 돌아가는 법을 잊어버리는 거래.

우리는 에이전트로 x100\text{ human}이 될 수 있다고 생각하지만, 이 성능의 변동성(Variation)에 너무 취약하고 의존적이다. 어쩌면 파우스트처럼 악마와 거래를 하고 있는 건 아닐까? 진짜 무서운 건 AI가 나를 대체하는 게 아니라, AI가 없을 때 내가 예전의 나보다 더 무력해지는 것이다.

드리프트도 무섭지만 정전이 된다면

안드레이 카파시(Andrej Karpathy)도 AI 정전에 대한 우려를 얘기한 적 있다. AI 코딩으로 엄청난 생산성을 보이던 사람이 AI가 잠시 정전됐을 때 무엇을 해야 할까? 휴가를 내야 할까?

세컨드 브레인도, 자신만의 에이전트도 이제는 failover(장 장애 조치), fallback(대체 작동) 장치가 필요하다. 단순히 멀티 모델로 스위칭하거나 단계를 낮추는(Graceful degradation) 수준으로는 안 된다. 우리의 목표는 정해져 있고 눈높이는 낮출 수 없으니까. 이 고민을 AI와 논의하며 찾아낸, 내 마음에 와닿은 세 가지 마인드셋을 공유한다.

요즘 피아노를 친다. 어렸을 때 이후 안 치다가 작년부터 다시 치기 시작했다. AI가 말을 안 들을 때는 잠시 노트북을 덮고 피아노도 치고, 영화도 보고, 운동도 해야겠다. 조급함은 결코 이 들쭉날쭉한 인공지능 문제를 해결해 주지 않을 테니까.