사람 한 마디에 도구가 6.74번 돌았다 — 마디당 레버리지를 재봤다

Claude Max 20x($200/월)로 7월 한 달을 굴렸다. API 정가로 환산하면 $20,725, 구독료의 103.6배다.

배율 자체보다 궁금했던 건 한 마디를 칠 때 무슨 일이 벌어지느냐였다. 배율은 결과지 방법이 아니다. 그건 세어볼 수 있었다.

마디당 도구 호출을 세봤다

내 대화 로그에서 사람이 실제로 텍스트를 친 메시지만 따로 세고(도구 결과만 담긴 메시지와 서브에이전트에 던진 프롬프트는 뺐다), 그 사이에 일어난 도구 호출을 나눴다.

한 마디에 도구가 6.74번 돌았다. 파일 하나 읽고 답이 오는 검색창 사용이 아니라, 한 번 시키면 읽고·고치고·돌려보고 커밋까지 갔다는 뜻이다.

서브에이전트는 0.94번. 내가 한 마디 칠 때마다 별도 에이전트가 거의 한 번씩 떴다. 한 달 9,469회, 세션당 평균 11.1회다.

긴 세션일수록 마디당 레버리지는 떨어진다

7월 854개 세션을 길이별로 갈라봤다. 예상과 반대였다.

중앙값은 5턴, 최장 세션은 185턴이다. 마디당 레버리지는 세션이 길수록 내려가는데 커밋이 나는 비율은 14%에서 58%로 올라간다.

둘은 같은 축이 아니다. 마디당 도구는 한 마디를 얼마나 크게 쓰느냐이고, 커밋 확률은 그 세션이 결과까지 갔느냐다. 그러니 짧은 질문은 짧게 끝내도 마디당 레버리지는 안 떨어진다 — 다만 결과가 남기를 바라는 일이라면 그 세션은 길어져야 한다.

모델을 아껴 쓰지 않았다

Opus 계열만 72.2%, 프런티어 모델(Opus + Fable)을 합치면 95.8%다. 정액 구독에서 싼 모델로 내려가는 건 배율 관점에선 손해다. 아낄 이유가 있는 건 종량제 API 쪽이지 정액제가 아니다.

마찰은 낮았다

많이 시킨다고 다 되는 건 아니다. 시킨 게 자꾸 틀리면 되돌리는 데 시간이 더 든다. 도구 호출 68,180번 중 에러로 끝난 게 2.3%, 내가 친 짧은 메시지에 “아니”·“틀렸”·“다시” 같은 말이 들어간 비율이 7.1%였다. 캐시 적중률은 98.0%.

결과물이 남았는지도 셌다

도구를 많이 돌리는 것 자체는 목적이 아니다. 7월에 커밋 1,384개, 푸시827회였다. 사람 7.3마디마다 커밋 1개가 나온 셈이다.

이 숫자가 없으면 “도구 6.74번”은 그냥 헛돈 것과 구분이 안 된다. 배율만 높고 커밋이 0이면 재봐야 할 건 사용법이 아니라 그 작업이 뭐였는지다.

6월이 없는 이유 — 재려면 먼저 안 지워지게 해둬야 한다

이 글에는 7월밖에 없다. 6월과 비교하고 싶었는데 6월 기록이 남아 있지 않다. 로그에 남은 가장 오래된 세션이 6월 30일 18시 59분이다. 그 앞은 통째로 비어 있다.

Claude Code는 대화 기록을 기본 30일만 보관하고 지운다 (cleanupPeriodDays). 나는 이걸 1년으로 늘려뒀는데, 6월이 이미 지워진 뒤에 늘렸다. 남아 있는 6월 세션 3개는 잘려나가고 남은 마지막 하루치다.

그래서 처음 올린 글의 “6월 0배”는 안 쓴 게 아니라 기록이 없는 것이었다. 없는 걸 0으로 읽고 “0배에서 103.6배가 됐다”고 쓴 게 이 글의 원래 제목이었다. 지금은 그 비교를 전부 뺐다.

본인 것을 재볼 생각이라면 이것부터 하는 게 맞다. 오늘 늘려도 이미 지워진 건 어디에도 없다.

그래서 뭘 재보면 되나

순위는 남을 이기는 거라 따라 할 수가 없다. 위 숫자들은 다르다 — 전부 내 로그에서 나오고, 올릴 방법이 구체적이다.

덧 — 이 글을 쓰고 더 재본 것

같은 로그를 세션 단위로 더 갈랐더니 “세션을 길게”에 상한이 있었다. 동시에 굴린 세션 수로 갈라보니 이득은 2~4개에서 정점이고 5개를 넘으면 떨어졌다. 그리고 결과를 가른 건 길이 자체보다 붙어서 보고 있느냐였다 — 3~10분마다 답한 세션, 되돌린 세션, 에이전트 답변이 짧았던 세션이 결과를 냈다.

병렬은 2~4개가 맞았다 · 되돌린 세션이 더 많이 남겼다