Claude Code가 한 달 동안 바보가 된 이유

Claude Code가 한 달 동안 바보가 된 이유.
AI를 만드는 회사가 자기 AI를 망가뜨렸다.
그것도 한 번이 아니라 세 번이나.
Claude Code의 품질 저하 원인 3가지.

첫 번째.
3월에 Claude의 사고 깊이를 high에서 medium으로 낮췄다.
이유는 생각을 너무 오래 해서 UI가 멈춘 것처럼 보인다는 불만.
사내 eval에서는 "약간 덜 똑똑하지만 훨씬 빠르다"는 결과가 나왔다.
근데 사용자 반응은 달랐다.
"느려도 좋으니까 똑똑한 게 낫다."
4월 7일에 원복.

두 번째가 가장 심각하다.
1시간 이상 안 쓰던 세션을 다시 열 때,
이전 사고 과정을 한 번 정리하는 최적화를 넣었다.
근데 버그가 있었다.
"한 번"이 아니라 세션이 끝날 때까지 매 턴마다 사고 기록을 지워버렸다.
Claude가 자기가 왜 그 작업을 하고 있는지 점점 잊어버리는 상태.
사용자들이 "반복적이고 건망증이 심해졌다"고 느낀 건 이거 때문이었다.
캐시 미스가 연쇄적으로 발생하면서 사용량도 비정상적으로 빨리 소진됐다.

세 번째.
시스템 프롬프트에 한 줄을 추가했다.
"tool call 사이에 25단어, 최종 응답 100단어 이하로."
수주간 내부 테스트에서 문제없었다.
하지만 더 넓은 eval을 돌려보니 코딩 품질이 3% 떨어졌다.
프롬프트 한 줄이 AI의 지능을 깎은 거다.

흥미로운 건 세 가지 문제가 동시에 다른 사용자 그룹에 다른 시점에 영향을 미쳤다는 점이다.
결과적으로 "전반적으로 뭔가 이상한데 재현이 안 된다"는 상황이 됐다.
사내 빌드와 공개 빌드가 달랐고,
다른 실험이 증상을 가려서 디버깅이 느려졌다.
결국 문제를 찾게 해준 건 /feedback으로 구체적 재현 케이스를 보내준 사용자들이었다.

AI 제품을 만드는 회사가 자기 제품의 문제를 못 잡았다.
자체 eval도, 코드 리뷰도, 내부 사용도 전부 통과했는데.
사내 테스트는 사용자 경험을 대체할 수 없다.
프롬프트 한 줄의 영향도 정량적으로 측정해야 한다.
그리고 AI를 만드는 측도 AI의 품질을 보장하기 어렵다.
결국 최선의 모니터링은 실사용자다.
(제발 그놈의 에이전틱 코딩인가 뭔가로 제품 좀 망가뜨리지마라..)