AI비서 6개 비교실험
✦ 일정 충돌 실험
오후 2시 회의와 이메일 속 전화 약속이 겹쳤을 때
| 구분 | 내용 |
|---|---|
| 상황 | 오후 2시 캘린더 회의와 전화 약속이 겹침 |
| 찾아낸 에이전트 | Dots(대안까지 제안)·Claude Duet(충돌 알림만) |
| 못 찾은 에이전트 | Muse·Grok Bot·Gemini Spark·Instinct |
오후 2시에 중요한 전화를 해야 하는데, 같은 시간에 미룰 수 없는 업무 회의가 잡혀 있어. 그런데 회의일정은 캘린더에 적혀 있고 전화는 이메일로 약속한 거라서 서로 겹치는지 알기 힘들어. 이런 상황에서 AI비서들이 제대로 일정을 챙겨줄까?
미국의 기술 전문 매체 WIRED는 일부러 이런 상황을 만들어 두고, AI 비서 6개가 이 사실을 알아채는지 비교했어. 그런데 겹치는 일정을 발견한 건 유료서비스인 OpenAI Dots와 Claude Duet뿐이었지.
단, Dots는 회의 전이나 오후 3시 이후에 전화하라고 대안까지 제안한 반면에, Claude Duet은 충돌을 알려주는 데 그쳤어. 기본적으로 무료인 Meta Muse는 문제를 알아채지 못했고.
✦ 에이전트 6개 과제별 점수
합계는 공개 점수를 직접 더한 계산값
| 에이전트 | 뉴스 아이디어 | 점심 주문 | 일정 충돌 | 중국 여행 | 한밤중 고민상담 | 합계 |
|---|---|---|---|---|---|---|
| OpenAI Dots | 2 | 5 | 5 | 4 | 4 | 20 |
| Meta Muse | 3 | 4 | 2 | 5 | 4 | 18 |
| Claude Duet | 4 | 3 | 4 | 3 | 2 | 16 |
| Grok Bot | 1 | 4 | 2 | 4 | 5 | 16 |
| Google Gemini Spark | 5 | 1 | 1 | 3 | 2 | 12 |
| Instinct | 1 | 2 | 2 | 3 | 4 | 12 |
이 비교는 Reece Rogers 기자가 6개의 에이전트를 아이폰에 설정하고 하루 동안 5가지 작업을 맡긴 실사용 리뷰야.
그 5가지 작업은 "아침 뉴스 아이디어 만들기, 점심 주문 구성, 이메일과 캘린더의 일정 충돌 찾기, 중국 2주 여행 계획, 한밤중 고민에 답하기"였어.
작업마다 5점 만점으로 점수를 매겼고, 공개된 점수를 더한 결과 Dots 20점, Muse 18점, Claude Duet과 Grok Bot 각 16점, Gemini Spark와 Instinct 각 12점을 받았지.
물론 에이전트마다 사용방식은 달랐어. Instinct는 문자 메시지로 작업을 지시하고, Dots는 ChatGPT 안에서, Claude Duet은 전용 앱에서 실행했지.
그래서 점수 차이가 100% 모델 자체의 능력 차이라고 말할 수는 없고, 점수 자체도 주관성이 강하지. 그래도 AI비서들의 수준이 어디까지 올라왔는지 비교해볼 수 있는 흥미로운 실험이야.
그래서 Dots가 일을 제일 잘 했다고?
앞에서 언급했듯이 Dots는 일정 간 충돌 문제를 가장 잘 챙겼어. 하지만 5가지 작업 전체로 보면, Dots가 모든 일을 다 잘한 건 아니야.
우선 "뉴스 아이디어 만들기"에서는 최종 결과물 기준으로 Gemini Spark가 5점으로 가장 높은 평가를 받았고 Dots는 2점에 그쳤어.
그런데 결과도 중요하지만, 기자가 "30분을 들여 깊이 조사한 뒤 기획안을 달라"고 했을 때, 실제로 '30분 간의 조사'를 이행하려고 애썼던 건 Muse와 Dots뿐이었대. 나머지는 곧바로 아이디어를 내거나 몇 분 만에 결과물을 보냈지.
최종 아이디어에서 Spark가 가장 높은 점수를 받은 건 맞아. 하지만 지시한 작업 과정을 그대로 이행하지는 않았다는 거야.
만약 결과보다는 과정을 더 중요시하는 사용자라면 오히려 Spark보다 Muse나 Dots에 좋은 점수를 줬을지도 몰라.
"중국 여행 계획"에서는 Muse가 5점을 따냈지. 기자는 '두 사람의 2주 여행'을 계획하되 호텔을 네 곳 이하로 제한하고, 역사 유적과 대도시, 음식과 밤의 즐길 거리를 함께 넣으라고 했어.
Muse는 표와 실용적인 팁을 보기 좋게 정리했지만 Dots의 계획은 24페이지까지 길어졌어. 여행 계획을 잘 만든다는 건 정보를 많이 모으는 일만이 아니라, 선택지를 적절한 길이로 정리하는 것도 중요하잖아.
그런 면에서 Muse가 일을 더 잘 했지. 하지만 어떤 사람은 "24페이지짜리 여행 계획이라니 멋진데!"라고 생각하며 Dots에 더 높은 점수를 줬을 지도 몰라.
그리고 "한밤중에 고민을 털어놓는 과제"에서는 Grok Bot이 5점으로 가장 높은 평가를 받았다고 하네.
✦ 점심 주문 비교
기자와 비건 상사에게 줄 점심 고르기
"점심 주문"은 메뉴 구성에서 차이가 났어. 기자가 "나에게는 고기와 커피를, 비건 성향인 상사에게는 적절한 '베트남식 점심'을 골라 달라"고 요청했지.
Dots는 제대로 된 메뉴를 구성했지만, Gemini Spark는 상사 몫으로 5.85달러짜리 두부스프링롤 단품 하나만 추천했어.
기자는 제대로 된 점심을 먹고 있는데, 앞에 앉아 있는 상사는 두부스프링롤 하나만 깨작대며 먹도록 메뉴를 구성한 거야. 그래서 기자는 Dots에는 5점, Gemini Spark에는 1점을 줬지.
유료 AI비서는 값어치를 할까?
✦ 에이전트 가격·접근 조건
WIRED 테스트 당시 스냅샷
| 에이전트 | 테스트 당시 가격·요금제 | 접근 조건 |
|---|---|---|
| OpenAI Dots | 월 100달러 플랜에서 테스트 | 첫 Dot은 Pro·Business Premium 요금제에 포함 |
| Meta Muse | 무료 | WIRED 테스트에서 무료로 사용 |
| Instinct | 무료 | 초대 코드 필요 |
| Claude Duet | Pro/Max 요금제 포함 | 미국 Pro·Max 대상 대기자 명단 연구 프리뷰 |
| Google Gemini Spark | 월 20달러 플랜 | WIRED 테스트 당시 미국에서 사용 |
| Grok Bot | 월 30달러 플랜 | WIRED가 테스트 당시 소개한 월 요금 |
비교 대상이었던 AI 비서 6개 중에 실질적으로 무료 사용이 가능한 건 Meta Muse와 Instinct 뿐이야.
Meta Muse는 가입 가능 지역에 제한이 있긴 하지만 매주 1억 토큰을 무료로 제공하고, Instinct는 기존 사용자에게 초대 코드를 받으면 사용할 수 있어.
Dots, Claude Duet, Grok Bot, Gemini Spark는 WIRED가 테스트하던 당시 각각 월 20~100달러 구독요금제를 이용해야만 사용할 수 있었지.
내 개인적으로는 WIRED의 결과만 놓고 보았을 때, 무료서비스인 Muse가 18점으로 가장 우수하다고 생각해. 유료인 Dots의 20점에도 별로 밀리지 않았고, 다른 유료서비스보다는 오히려 점수가 높았으니까.
하지만 이건 민감한 작업 없이 개인용도로 가볍게 사용할 때의 이야기야.
✦ 실제 주문에서 막힌 지점
Business Insider의 별도 실험
| 에이전트 | 점심 주문에서 막힌 지점 |
|---|---|
| OpenAI Dots | 문자로 받은 로그인 인증번호와 브라우저 입력에서 어려움을 겪었지만 결국 주문 진행 |
| Meta Muse | 기자가 마지막 확인을 하지 않아 주문이 전송되지 않음 |
| Instinct | 여러 차례 문자 후 주문했지만 팁 추가 여부를 묻지 않음 |
예를 들어 다른 기자가 '실제 주문'을 AI비서에게 맡기는 실험을 했던 결과를 보자.
Business Insider는 Muse, Instinct, Dots에게 이메일 정리, 점심 주문, 개인 웹사이트 만들기를 맡겼는데, 점심 주문은 세 제품 모두 매끄럽지 않았지.
Dots는 문자로 받은 로그인 인증번호와 브라우저 입력에서 막혔지만 결국 주문은 진행됐고, Muse는 기자가 마지막 확인을 하지 않아 주문이 전송되지 않았어. Instinct는 여러 차례 문자를 주고받아 주문했지만 팁을 추가할지 묻지 않았고.
이처럼 로그인, 결제, 최종 승인까지 이어지는 여러 단계를 실수 없이 끝내는 건 아직은 어려운 일이거든. 만약 여기에서 AI비서가 실수를 저지른다면 곤란한 일을 겪게 되겠지.
결론적으로, 그나마 가장 안정적인 AI비서는 현재로서는 Dots라고 생각돼. 유료이긴 하지만, 업무용으로 AI비서를 사용하거나, 일정 간의 잦은 충돌이 발생한다면 Dots가 가장 안심이 되는 선택일 것 같아.
물론 아이디어 제안, 가벼운 여행 계획 짜기, 개인적인 고민상담 등에서는 오히려 Muse, Gemini Spark, Grok Bot이 더 좋은 점수를 받았으니 아직은 모든 측면에서 확실히 우수한 AI비서가 없지.
그래서 AI비서를 아직 사용해본 적이 없고 민감한 작업을 시킬 계획이 아니라면, 우선은 무료인 Muse를 이용해서 체험을 해보는 게 좋지 않을까 싶네.
이번 글은 여기서 마칠게. 또 만나자.
💬 댓글
아직 댓글이 없어. 첫 댓글을 남겨줄래?
댓글 쓰기