어제 Compacting 지옥에서 벗어나다를 쓰면서 1M context 모델이 얼마나 좋은지 소개했었다. “비용이 좀 들지만 해방감은 값을 매기기 어렵다”고 했었는데…

그래서 오늘 본격적으로 써봤다. $50 무료 크레딧을 받아서.

결과? 3~4시간 만에 전부 날렸다.

$50 무료 크레딧을 받았다

Anthropic에서 $50 무료 크레딧을 받은 게 있었다. $50이면 솔직히 꽤 많은 거 아닌가? 평소 구독비가 $20인데. 이거면 넉넉하게 며칠은 쓰겠지? 라고 생각했다.

1M context니까 기존 200K 대비 5배. 비용도 한 5~10배 정도 더 들겠지? 뭐 그 정도면 $50으로 하루이틀은 쓸 수 있을 거라 생각했다.

…이게 완전히 틀린 계산이었다.

1M은 단순히 10배가 아니었다

일단 체감부터 말하면. 10배? 아니다. 차원이 다르다.

200MB짜리 PDF 문서를 통째로 읽혔다. 한 번에. 끊김 없이.

5MB짜리 이미지를 한 100개 정도 분석시켰다. 역시 한 세션에서. 중간에 끊기는 거 없이.

문서 분석하고 생성하는 것도 어마어마하게 많이 시켰는데… Compacting이 단 한 번도 안 떴다. 한 번도.

기존에는 PDF 3~4개만 읽혀도 “Compacting conversation…” 이 뜨면서 맥락이 날아갔었는데. 1M으로 바꾸니까 그냥… 사실상 리밋이 없어 보였다.

이 쾌적함이 무섭다

솔직히 처음에는 그냥 신났다 ㅎㅎ

평소에는 “이거 보내면 컨텍스트 터지겠지…” 하면서 살짝 계산하면서 쓰던 게 습관이었는데. 1M은 그런 거 없다. 그냥 생각나는 대로 시키면 된다. PDF 더 읽어, 이 이미지도 분석해, 이 문서도 만들어. 마구마구 시켜도 끄떡없다.

이게 원래 AI 코딩 도구가 이래야 하는 거 아닌가 싶었다. AI한테 작업을 시키면서 내가 AI의 컨텍스트 용량을 관리해주는 게 이상한 거였다.

근데 이 쾌적함… 좀 무섭긴 했다. 돈이 나가고 있다는 사실을 까먹게 만드니까.

슬슬 뭔가 이상하다

2시간쯤 됐을 때 문득 크레딧을 확인해봤다.

어? 벌써 이만큼 빠졌어?

처음에는 별 체감이 없었다. 쿼리 하나 보내도 몇십 센트 정도라 “뭐 이 정도면 괜찮지” 싶었는데. 시간이 지날수록 빠지는 속도가 눈에 띄게 빨라졌다.

이걸 좀 생각해보면 당연한 거다.

1M context라는 건 대화 내용을 안 버린다는 뜻이다. 압축을 안 한다는 거니까. 근데 안 버리면? 매번 쿼리를 보낼 때 이전 대화 전체가 토큰으로 포함된다. 대화가 길어질수록 한 번 쿼리에 들어가는 토큰이 눈덩이처럼 불어나는 거다.

그러니까 비용이 선형으로 증가하는 게 아니라 지수적으로 증가한다.

$50의 마지막 순간

3시간 정도 사용했을 때부터는 체감이 확 달라졌다.

질문 한번 할 때마다 거의 $2~3씩 빠져나가는 느낌. 처음에 한 시간 동안은 $10도 안 썼던 것 같은데, 마지막 한 시간은 $20 넘게 쓴 것 같다.

처음 $10은 1시간 넘게 버텼다. 마지막 $10은 체감 20분도 안 된 것 같다.

이게 지수적 증가의 무서움이다. 처음에는 완만하게 올라가다가 어느 순간부터 수직으로 치솟는다. 그 “어느 순간”이 오면 이미 늦은 거다 ㅠㅠ

결국 3~4시간 만에 $50 전액 소진. 깔끔하게 0원.

왜 이렇게 되는가

정리하면 이런 구조다.

작업 초반 (0~1시간): 컨텍스트 작음 → 쿼리당 수십 센트 → 쾌적
작업 중반 (1~2시간): 컨텍스트 누적 → 쿼리당 $1 안팎 → 슬슬 체감
작업 후반 (2~3시간): 컨텍스트 폭발 → 쿼리당 $2~3 → 미터기 소리 들림

기존 200K 모델은 Compacting을 하면서 오래된 대화를 날려버렸다. 불편하지만 비용은 일정하게 유지되는 구조였다. 1M 모델은 안 버리는 대신 그 대가를 비용으로 치르는 거다.

둘 다 장단점이 있다. 근데 이걸 모르고 “와 쾌적하다~” 하면서 막 쓰면… 요금 폭탄이다.

현명하게 쓰는 법

AI 구독 비용에 대한 생각을 예전에 쓴 적이 있는데. 결국 도구는 도구답게 써야 한다.

1M 모델은 “항상 켜두는 모드”가 아니다.

정말 대용량 파일 처리가 필요할 때. 200MB PDF를 통째로 읽혀야 할 때. 이미지 수백 장을 한 번에 분석해야 할 때. 이럴 때 1M으로 전환해서 집중적으로 작업하고.

목적이 달성되면? 바로 기본 모델로 스위치.

이게 가장 합리적인 사용법이다. 어제 쓴 것처럼 Switch Model 버튼 하나로 왔다 갔다 할 수 있으니까. 무거운 작업 들어갈 때 1M 켜고, 끝나면 끄고. 이것만 지키면 비용을 꽤 절약할 수 있다.

그리고 하나 더. 한 세션을 너무 길게 끌지 않는 게 좋다. 컨텍스트가 쌓일수록 비용이 기하급수적으로 올라가니까. 목적 달성하면 세션 정리하고 새로 시작하는 것도 방법이다.

마무리

1M context. 확실히 좋다. 어제 쓴 것처럼 Compacting 지옥에서 벗어나는 해방감은 진짜다.

근데 해방감에 취해서 하루 종일 켜놓으면 지갑이 먼저 해방된다 ㅋㅋ

“1M이 기본이 되는 날이 오면 좋겠다”고 어제 썼었는데… 비용을 직접 체감하고 나니 아직 좀 멀었다는 생각이 든다. 근데 방향은 확실히 이쪽이다. 지금은 비싸도 점점 내려올 거다.

그때까지는 똑똑하게 쓰자. 필요할 때 켜고, 끝나면 끄고. 이 단순한 원칙만 지키면 1M의 혜택은 충분히 누릴 수 있다.

무료 크레딧 기회가 오면 꼭 한번 써보시라. 그 쾌적함을 체감하면 돌아가기 어렵다. 근데 제발 크레딧 잔액은 중간중간 확인하면서 ㅎㅎ