코딩 에이전트에게 “이 버그 고치고 테스트까지 해줘”라고 시켜놓고 기다려본 적 있지? 모델이 몇 줄 답변하는 데는 금방인데, 파일을 읽고 계획을 세우고 도구를 여러 번 부르는 동안 기다리는 시간은 길어지곤 해.
그런데 10월 19일 공개된 Mercury 3는 초당 1,068토큰을 생성한다고 발표했어. 숫자만 보면 웬만한 모델을 압도하는 속도인데, 이게 실제로 얼마나 빠른 걸까?
✦ 생성 속도 비교
초당 생성 토큰 수, Inception 공식 비교표 기준(독립 측정 아님)
먼저 비교 숫자부터 보자. Mercury 3를 만든 Inception Labs의 공식 비교표에는 GPT-6 Luna가 초당 약 130토큰, Claude Haiku 5.5가 약 240토큰으로 적혀 있어.
같은 표의 Mercury 3는 1,068토큰이지. 수치만 계산하면 GPT-6 Luna의 약 8배, Haiku 5.5의 약 4.5배야. 물론 이건 Mercury를 만든 회사가 제시한 비교 결과라는 점은 기억해야 해.
실제 API를 이용할 때 모든 요청이 항상 이 속도로 나오는 건 아니니까.
문장을 만드는 방식부터 다르다
GPT나 Claude 같은 언어 모델은 답을 만들 때 토큰을 하나 생성하고, 그 결과를 바탕으로 다음 토큰을 또 만드는 과정을 반복해. 앞 토큰이 나와야 뒤 토큰을 만들 수 있는 구조인 셈이지.
답변이 길수록 이런 단계가 차곡차곡 쌓여서 부담이 커져.
✦ 토큰을 만드는 두 가지 방식
순차 생성과 확산형 생성
Mercury 3는 이미지 생성 AI와 비슷한 확산(diffusion) 방식을 텍스트에 적용해.
이미지 확산 모델이 처음부터 완성된 그림을 그리는 대신 여러 단계에 걸쳐 잡음을 정리하듯, 확산형 언어 모델은 텍스트 블록의 여러 부분을 병렬로 만들고 다시 다듬어. 답 전체를 단 한 번에 뚝딱 완성한다는 뜻은 아니야.
여러 토큰을 함께 예측하고 수정할 수 있어서, 한 토큰씩 순서대로 쓰는 방식의 대기 시간을 줄일 수 있다는 거지.
혹시 읽기 공부를 할 때 "단어나 문장을 보지 말고 글 전체를 한 눈에 사진찍듯이 봐라"라는 속독 방법을 알아?
우리가 엄청나게 긴 글을 한글자씩 완벽하게 읽어나가기 시작하면 시간도 오래 걸릴 뿐더러 앞에 읽었던 내용을 점점 잊어버리게 되거든.
하지만 전체 글 내용을 큰 시야로 내려다보면서 뼈대를 잡고, 이후에 중요한 단어들 위주로 훑어보듯이 읽어나가는 거지. 그러면 결과적으로 더 빠르게 글을 읽을 수 있고 기억에도 오래 남아.
확산(diffusion) 방식과는 약간 다르지만, 확산 방식이 뭔지 잘 모르겠다면 이렇게라도 이해하면 조금이나마 도움이 될 거야.
이런 방식은 코드에도 흥미로운 가능성을 줘. 코드 파일 아래쪽을 수정하다가 위쪽 변수나 함수까지 바꿔야 하는 경우가 있잖아.
이미 내보낸 토큰을 되돌릴 수 없는 순차 생성 모델과 달리, 확산형 모델은 다음 단계에서 블록 안의 다른 부분을 다시 다듬을 수 있어. 그러면 조금 더 유연하고 효율적으로 토큰을 사용할 수 있겠지.
컨텍스트는 100만 토큰, 가격은 출시 할인
Mercury 3는 한 번의 요청에서 입력과 문맥으로 처리할 수 있는 컨텍스트 길이를 100만 토큰으로 늘렸어. 이전 Mercury 2.5의 26만 토큰보다 커진 거지.
✦ Mercury 3 API 가격
100만 토큰당, 달러
| 구분 | 입력 | 출력 |
|---|---|---|
| 정가 | 0.20 | 0.70 |
| 출시 할인(현재 발표 가격) | 0.10 | 0.35 |
가격도 눈에 띄어. 공식 정가는 입력 토큰 100만 개당 0.20달러, 출력은 0.70달러인데, 출시 할인으로 현재 발표된 가격은 각각 0.10달러와 0.35달러야.
캐시 적중 입력은 입력 요금보다 90% 낮게 책정돼 있어.(할인 종료일이 언제인지는 따로 적혀 있지 않더라) 신규 계정에 무료 토큰 1억 개를 제공한다는 안내도 있으니 관심있으면 지금 바로 사용해보자.
Inception API뿐 아니라 OpenRouter, Baseten, Vercel에서도 사용할 수 있고, OpenAI API 호환 형식을 지원해서 기존 연결 코드를 크게 바꾸지 않고 시험해 볼 수 있다는 점도 장점이야.
그런데 실제 작업에서도 1,000토큰 속도가 나올까?
✦ 속도 숫자, 어떻게 다를까
측정 조건이 달라 직접 비교는 아니야
그런데 말이야. Bito가 10월 20일 자체 코딩 테스트 결과를 발표했는데, Mercury 3의 실제 코딩 에이전트 요청당 생성 속도 중앙값은 초당 198토큰이었고, 최고치는 512토큰이었어.
여전히 빠른 편이지만 회사가 발표한 1,068토큰과는 차이가 커. 테스트 환경과 실제 추론 환경이 다르기 때문이야. 코딩 에이전트는 코드와 대화 기록을 읽고, 다음 행동을 결정하고, 도구 실행을 기다린 다음 다시 모델을 호출해.
모델이 새 토큰을 생성하는 부분만 1,000토큰 속도로 빨라진다고 해서 전체 작업이 똑같이 1,000토큰의 속도를 내지는 않는다는 거지.
✦ 긴 코딩 세션 소요 시간
Bito 자체 테스트, 세션당 평균(분)
어쨌든, Bito의 긴 다단계 코딩 세션 테스트에서 Mercury 3는 평균 5.8분으로 가장 빨리 임무를 마쳤어.
Claude Sonnet 5.5는 6.8분, DeepSeek V4.1 Flash-1017은 15.4분, Claude Opus 5.5는 17.2분이 걸렸지. 처리시간만 놓고 보면 Mercury 3가 확실히 매력적이야.
✦ 긴 코딩 세션 점수
Bito 자체 테스트, 점수(%)
| 모델 | 점수 |
|---|---|
| Claude Opus 5.5 | 87% |
| DeepSeek V4.1 Flash-1017 | 77% |
| Claude Sonnet 5.5 | 77% |
| Claude Haiku 5.5 | 76% |
| Mercury 3 | 65% |
하지만 테스트 점수는 달랐어. 긴 세션 테스트에서 Mercury 3의 점수는 65%에 그쳤지만, DeepSeek와 Sonnet은 각각 77%, Haiku는 76%, Opus는 87%였거든.
한 번의 짧은 코딩 질문을 던지는 테스트에서도 Mercury 3는 76%로, DeepSeek의 90%와 Haiku의 79%보다 낮았어. 즉 빨리 답을 내는 능력과 복잡한 문제를 끝까지 정확하게 해결하는 능력은 별도로 봐야 한다는 거야.
솔직히 개인적으로... '나의 띨띨이' Haiku 5.5보다 점수가 낮다면, 나는 그 모델과 절대로 대화하고 싶지 않아. 스트레스 쌓여서 탈모가 올 것 같거든. 읏흥♡
✦ 긴 코딩 세션 비용
Bito 자체 테스트, 세션당 비용(달러)
작업당 비용도 토큰 가격표와 다르게 나왔어. Bito가 측정한 긴 코딩 세션 비용은 Mercury 3가 0.48달러, DeepSeek는 0.14달러였지.
토큰당 가격이 싸더라도 에이전트가 같은 대화 기록을 반복해서 보내는 과정에서 캐시가 충분히 맞지 않으면 실제 청구액이 커질 수 있어.
이 결과는 Bito가 긴 세션 8개와 짧은 세션 16개로 수행한 자체 평가라 전체 모델의 절대적인 순위를 정해 주지는 않지만, Mercury 3에 비해서 DeepSeek를 비롯한 기존 모델들이 토큰을 더 효율적으로 쓰는 건 확실한 것 같아.
그럼 Mercury 3는 어디에 쓸 만할까
짧고 범위가 분명한 요청, 실시간 검색, 고객 문의, 대화형 튜터처럼 답을 빠르게 받는 게 중요한 곳에서는 Mercury 3의 장점이 살아날 수 있어.
예를 들어 사용자가 웹사이트를 둘러보다가 질문하면 수 초 안에 답을 보여줘야 하는 서비스에서는 대기시간이 길어질수록 답답함이 커지잖아. 여러 차례 모델을 부르는 에이전트에서도 각 응답이 빨라지면 사용자가 기다리는 시간이 줄어들 수 있어.
반대로 복잡한 코딩 작업을 통째로 맡기거나, 여러 단계를 계획하고 결과를 꼼꼼히 점검해야 하는 업무라면 속도와 함께 품질을 충분히 고려해야 하니까. Mercury 3의 우선순위가 밀리게 될 거야.
즉 Mercury 3는 기존 GPT나 Claude를 모두 대체할 모델이라기보다, 언어 모델이 다른 방식으로도 빨라질 수 있다는 걸 보여준 사례라고 보면 될 것 같아.
이미지 생성의 확산 방식을 텍스트 생성에 가져와 실용적인 속도를 보여줬다는 것만으로도 흥미로워. 다만 1,068이라는 숫자에 감탄하는 데서 끝나면 안 돼.
독자가 체감하는 건 토큰 수가 아니라, 질문을 했을 때 얼마나 빨리 제대로 된 답을 받느냐니까.
ChatGPT 또는 클로드를 사용하는 유저라면 Luna, Haiku 모델이 얼마나 띨띨한지(?) 알 거야.
나는 Luna, Haiku 모델에게 일을 맡겨놓고 엉터리로 일을 처리할 때마다 내가 얼마나 가난한지를 느끼게 돼.(내가 부자였다면 아스트라나 페이블을 마음껏 썼겠지)
벤치마크나 평가점수가 전부는 아니지만, GPT Luna, Claude Haiku, Gemini Flash Lite 같은 경량모델들의 약간 나사 빠진듯한(?) 답변에 질린 유저들이라면 Mercury 3의 매력은 좀 떨어질 거야.
점수만 보면, 얘도 좀 그쪽 계열이거든. 반면에 굉장히 빠른 속도로 에이전트 업무를 처리해야 하는 유저라면 분명히 도움이 되겠지.
이번 글은 여기서 마칠게. 또 만나자.
- 딥시크 V4.1 플래시-1017에 이어 미니맥스 M3.1 플래시까지.. 중국산 가성비 AI 모델이 쏟아지네
- 10월 16일, Ollama의 Q2 양자화 형식 지원 시작! 양자화가 뭔지 쉽게 알아보자
- 4K 이미지 한 장에 약 150원.. 구글 나노바나나 2.1 출시! 쓸만할까?
🌐 영어 버전: Mercury 3 Launches at 1,000+ Tokens/Sec. How Fast Is That?
💬 댓글
아직 댓글이 없어. 첫 댓글을 남겨줄래?
댓글 쓰기