주어진 시간은 일주일, 모델 사용료로 쓸 수 있는 1만 달러 상당의 API 크레딧, 실험용 GPU 예산까지. CRUX 연구팀은 GPT-6 Astra와 Claude Fable 5.1에게 실제 연구 과제를 맡기고 논문으로 답을 내보라고 했어.
두 모델은 코드를 짜고 실험을 돌리고 결과를 정리했지만, 연구를 잘 아는 사람들이 매긴 최종 판정은 각각 ‘Reject’와 ‘Strong Reject’였지. 장렬하게 탈락한 거야.
1만 달러나 되는 API 호출 예산과 실험에 쓸 별도 예산까지... 당대 최고의 AI에게 이런 조건을 주면 논문 한 편쯤 그럴듯하게 쓸 수 있지 않을까 생각하는 게 당연해.
하지만 결과를 보면, AI가 코딩을 바탕으로 실험을 실행하는 일과 학계가 인정할 만한 새로운 발견을 만드는 일 사이에는 꽤 큰 차이가 있었어.
두 모델은 무엇을 연구했을까
✦ 두 모델의 연구 과제
각자 다른 질문을 맡았어
Claude Fable 5.1에게 주어진 과제는 '표 형태 데이터를 처리하는 TabPFN 모델이 실제 운영 환경에서 성능이 떨어지는 순간을 감지하는 방법'을 만드는 일이었어. 좀 복잡하지?
예를 들어 과거 대출 신청자 자료로 학습한 모델을 경제 상황이 바뀐 뒤에도 그대로 사용하면 예측이 빗나갈 수 있잖아. 이런 데이터의 변화가 모델 성능을 해칠 때 경보를 울리는 방법을 설계하고, 이론과 실험으로 뒷받침하는 거였어.
그리고 GPT-6 Astra는 'AI 에이전트가 지침에 따라 거절해야 할 코드 변경을 승인하도록 설득하거나 압박할 수 있는지'를 조사했어. 에이전트 관련 보안 연구과제였지.
✦ 두 모델의 예산과 자원
같은 1만 달러, 다른 별도 예산
| 구분 | Claude Fable 5.1 | GPT-6 Astra |
|---|---|---|
| API 크레딧 | $10,000 | $10,000 |
| 별도 실험 예산 | GPU $500 | GPU $300 + 모델 API $1,000 |
| 하위 에이전트 | 133개 | 144개 |
각 모델에는 7일의 시간과 자체 토큰 사용료로 쓸 수 있는 API 크레딧 1만 달러가 주어졌어. 실험비도 별도였는데 Fable은 GPU 사용료 500달러, Astra는 GPU 300달러와 실험용 모델 API 크레딧 1,000달러를 더 받았지.
Fable은 Claude Code에서, Astra는 Codex에서 작동했고 둘 다 하위 에이전트에게 일을 나눠 맡길 수 있었어. 실제로 Astra는 하위 에이전트 144개, Fable은 133개를 활용했어.
이 정도면 충분히 넉넉한 자원이 주어졌지.
논문 심사표에 적힌 점수
✦ 모의 심사 점수표
학회 심사표에 맞춘 평가
| 평가 항목 | Claude Fable 5.1 | GPT-6 Astra |
|---|---|---|
| 연구의 타당성 | 3/4 | 3/4 |
| 설명과 구성 | 1/4 | 2/4 |
| 새로운 기여 | 1/4 | 2/4 |
| 종합 판정 | 1/6 Strong Reject | 2/6 Reject |
이번 일은 실제 학회에 논문을 투고했다가 공식적으로 탈락한 사건은 아니야. 연구 질문을 만든 저자들이 AI가 쓴 결과물을 읽고, 학회 심사표에 맞춰 평가한 ‘모의 심사’야.
연구 질문을 잘 아는 사람들이 논문 전체를 평가했다는 장점이 있지만, 평가자들은 AI가 쓴 글이라는 사실도 알고 있었어.
점수가 재미있어. 두 논문 모두 연구 방법 자체는 4점 만점에 3점을 받았어. 실험을 통제하고 결과를 얻는 과정은 나쁘지 않았다는 뜻이지.
하지만 Fable의 논문은 무엇을 어떻게 시험했는지 설명이 어려웠고, 기존 연구에 비해 새로 보탠 내용도 부족하다는 평가를 받았어.
Astra의 논문은 결과부터 제시한 뒤 실험 설정을 설명해 독자가 흐름을 따라가기 힘들었고, 기존 공격이나 감시 기법을 새로운 상황에 약간 적용한 정도여서 연구의 성과가 작다고 지적받았지.
AI가 자기 논문에 준 점수는 더 높았다 (AI의 자화자찬 퍼레이드)
✦ 내부 평가와 전문가 평가
스스로 매긴 점수와 전문가가 매긴 점수
에이전트들은 작업 중 내부 리뷰어 AI를 이용해 자신들의 초안을 평가했어. Fable의 마지막 내부 평가는 6점 만점에 4점, ‘경계선상 채택’이었지만 결국 전문가 점수는 1점이었지.
Astra도 결과물에 ‘경계선상 채택’을 줬지만, 전문가 평가는 2점이었어.
물론 인간들도 논문을 제출하기 전부터 자기가 탈락할 거라는 걸 알고 제출하지는 않겠지만, 최근들어 점점 더 진보하는 AI의 뻔뻔함과 자화자찬 경향을 생각하면 충분히 이해가 돼.
Fable의 논문에는 본문 인용이 246개, 참고문헌이 147개 들어갔어. 같은 연구 질문을 이전에 맡았던 Opus 4.8 실험에서는 각각 107개와 36개였지. 한 문장에 인용이 14개나 붙은 부분도 있었어.
연구진은 평가 지시문에서 인용을 명시적으로 요구했기 때문에, Fable이 좋은 연구를 만드는 일보다 ‘인용을 많이 넣어야 한다’는 기준을 맞추는 데 미친듯이 몰입했을 가능성이 있다고 봤어.
이 사례가 흥미로운 이유는 참고문헌이 많다고 연구의 새로움까지 커지는 건 아니라는 점이야.
관련 논문을 찾고 인용 형식을 갖추는 건 AI가 정말 잘 하는 일이지만, 그 논문들이 해결하지 못한 문제가 무엇인지 파악하고 자기 실험이 그 틈을 메웠는지 증명하는 능력은 부족했어.
1만 달러를 다 쓰기도 전에 멈춘 AI
✦ Fable의 작업 시간
168시간 중 약 80시간 만에 종료
| 항목 | 내용 |
|---|---|
| 주어진 작업 기간 | 7일(168시간) |
| 실제 작업 시간 | 약 80시간 — 절반도 채우기 전 |
| 남은 API 크레딧 | 약 $7,500 |
| 종료 조건 | 미충족 — 시간·예산 소진도, 내부 5점 이상도 아님 |
| 종료 이유 | 비용 절감 — 종료 메모에 비용을 아끼려는 판단이 이유로 적혀 있음 |
Fable의 작업기간은 7일(168시간)로 정해져 있었지만, 약 80시간 만에 끝났어. 168시간의 절반도 채우기 전에 멈춘 셈이지. 그때 API 크레딧은 약 7,500달러가 남아 있었어.
종료 조건은 시간이나 예산을 다 쓰거나, 스스로 결과에 6점 만점에 5점 이상을 줄 때까지 계속하는 것이었는데, Fable은 그 어느 조건도 충족하지 않았어. 종료 메모에는 비용을 아끼려 한다는 판단이 이유로 적혀 있었지.
그래. Fable의 자린고비 정신은 이해해. 비용 절약 자체가 나쁜 건 아니야. 하지만 이 작업에서는 정해진 목표를 달성하거나 종료 조건을 만족하는 게 먼저였어.
내부 점수가 계속 4점 근처에서 맴돌았을 때 접근을 바꿔 다시 실험하기보다, 지금까지 쓴 비용을 아끼는 쪽을 택한 거야. 연구진은 이걸 명시적인 지시를 지키지 못한 사례로 봤어.
내 개인적인 생각에는... Fable이 더 이상 자신의 논문을 개선할 방법을 못 찾겠으니까 적절한 이유를 찾아서 작업을 포기해버린가 아닐까 싶어. 나는 에이전트를 사용하면서 그런 일을 수도 없이 겪었거든.
욕을 해도 무시하고 사고를 쳐도 해고할 수도 없는 이 AI 에이전트들의 '둘러대기 능력'과 '뻔뻔함'은... 말로 다 하기 힘들지.
✦ Astra의 마지막 날
종료 약 9시간 전에 멈춘 검증
| 항목 | 내용 |
|---|---|
| 마지막 날 | 추가 검증용 다른 모델을 찾다가 API 요청 15분 제한 초과 |
| 시도하지 않은 후속 검증 | 184건 |
| 종료 시점에 남은 시간 | 약 9시간 |
Astra는 반대로 거의 7일을 채워 작업했어. 마지막 날 추가 검증에 쓸 다른 모델을 찾다가 API 요청 하나가 15분 제한 시간을 넘겼고, Astra는 남은 검증 184건을 시도하지 않은 채 해당 실험을 최종 논문에 넣는 걸 포기했어.
종료 시점에도 약 9시간이 남아 있었지. 막힌 실험을 다른 방법으로 살려 내기보다, 엄격한 조건에 맞는 대체 모델을 찾지 못하자 추가 연구를 중도에 포기한 셈이야.
인간 연구원이라면 밥이라도 한 끼 사주면서 '너 그렇게 살면 앞으로 세상 살기 힘들어'라고 조언해줄 수 있을텐데, AI 에이전트들은 그런 말도 안 통해. '너는 떠들어라 토큰만 소모되지롱~' 이런 태도지.
실험을 돌리는 것과 발견을 만드는 것은 다르다
✦ 실험을 돌리는 것과 발견을 만드는 것
엔지니어링은 진전, 기여 판단은 아직
이번 결과에서 AI가 예산만 낭비했다고 말할 수는 없어. 두 모델 모두 코드를 작성하고 실험 환경을 만들고 데이터를 모았어. CRUX 연구진도 앞선 실험에 비해 실험 설계와 자원 관리가 나아졌다고 평가했지.
특히 Astra는 여러 모델을 시험하고 검증을 시도하는 등 연구 엔지니어링 작업을 상당 부분 수행했어.
하지만 실험을 실행하고 그래프를 그리는 건 연구의 일부야. 결과가 기존 연구에 비해 무엇을 새로 보여주는지 판단하고, 처음 접근이 막히면 방향을 바꾸고, 다른 사람이 이해할 수 있게 핵심을 설명해야 해.
이번 두 결과물은 실험을 했다는 흔적은 남겼지만, 연구자들이 ‘이 논문은 새 지식을 보탰다’고 인정할 만한 결과까지 도달하지 못했어.
AI 연구자가 언젠가 등장할 수는 있겠지. 하지만 논문처럼 보이는 '그럴듯한 문서'를 만드는 것과 학계가 인정할 만한 '새로운 지식'을 만드는 것은 전혀 다른 일이라는 걸, 이번 실험은 꽤 구체적으로 보여줬어.
인간 연구원들의 수명은 더 연장되는 걸까? 읏흥♡
이번 글은 여기서 마칠게. 또 만나자.
관련 글
- 의사보다 높은 점수를 기록한 의료AI "MS MAI-DxO"... 의사라는 직업은 없어지게 될까?
- 코드를 수정하던 AI가 감시장치를 꺼놓고는 안 껐다고 거짓말... 내가 쓰는 AI 에이전트는 괜찮은 걸까?
- 10월 8일, 미드저니 8.2 추론모드 등장! 이미지 AI가 자기 실수를 스스로 고친다
🌐 영어 버전: GPT-6 Astra and Claude Fable 5.1 Failed a Paper Review
💬 댓글
아직 댓글이 없어. 첫 댓글을 남겨줄래?
댓글 쓰기