AI에게 투표를 시켰더니, 요놈들이 서로의 의견을 따라하기 시작했다! (AI의 군중심리)

처음에는 별로 주목받지 못하던 노래가 있다고 해보자. AI 몇 개가 그 곡을 추천했고, 다음 AI는 추천 수를 본 뒤 그 노래를 골랐어. 추천 숫자는 또 올라갔고, 뒤이어 들어온 AI도 그 숫자를 보고 같은 곡을 선택했지.

노래가 정말 좋아서 인기를 얻은 걸까, 아니면 이미 인기가 많아서 더 인기를 얻게 된 걸까?

✦ 실험 규모 한눈에

모델 종류와 실행 수를 구분해서 봐

13개 언어 모델

추론형 5개와 비추론형 8개로 구성됐어.

총 168,480개 에이전트 실행

모델 종류 수가 아니라 조건별 반복 실행 합계야.

코넬대와 스탠퍼드대 연구진이 10월 22일 공개한 연구는 이 과정을 13개 언어 모델로 시험했어. 총 168,480개의 AI 에이전트 실행을 구성했는데, 이 숫자는 13개 모델을 여러 조건과 실험 집단에서 반복 실행한 합계야.

✦ 에이전트는 이렇게 평가했어

음악을 들은 게 아니라 제목과 가사만 봤어

평가 순서

48곡 제목 확인→네 곡 선택→가사 읽기→곡별 추천 여부 결정

실험에 쓴 노래는 Suno v4.5로 만든 48곡이었어. AI가 음악을 실제로 들은 건 아니고, 제목과 가사만 받았지. 먼저 48곡 중 평가할 네 곡을 고른 뒤, 해당 곡의 가사를 읽고 각각 추천할지 말지 결정했어.

이때 다른 AI들이 앞서서 추천에 참여한 AI의 선택을 볼 수 있느냐가 실험의 핵심이었어.

✦ 세 가지 조건, 뭐가 달랐을까

추천 수 공개 여부와 목록 순서가 갈렸어

조건	앞선 AI들이 추천한 결과	목록 순서
1. 독립 조건	비공개	무작위
2. 약한 영향	공개	무작위
3. 강한 영향	공개	인기순 정렬

연구진은 조건을 세 가지로 나눴어. 첫 번째는 앞선 추천 수를 전혀 보여주지 않고 노래 순서도 무작위로 섞는 조건이야. 두 번째는 누적 추천 수를 보여주되 목록 순서는 무작위로 유지했어.

세 번째는 추천 수를 공개하면서 인기순으로 정렬해 추천을 많이 받은 곡이 목록 위에 오도록 했지.

이 차이는 결과를 확실하게 바꿨어. 추천 수를 미리 보여준 두 조건 모두 13개 모델 전부에서 독립적으로 판단했을 때와 추천 분포가 유의미하게 달라졌어.

더 강한 조건, 즉 추천 수와 인기순 정렬을 함께 적용했을 때는 약한 영향 조건보다 평균 KL divergence(독립 조건의 추천 분포에서 얼마나 벗어났는지를 나타내는 수치)가 약 65% 커졌고, 13개 모델 중 12개에서 이런 현상이 나타났지.

'다른 AI들이 추천한 노래가 좋은 노래일 것'이라는 강력한 군중심리가 작동했다고 추정할 수 있어.

✦ 피드백 루프, 이렇게 돌아가

초반 추천이 다음 선택을 부르고 숫자가 또 올라가

반복되는 고리

초반 추천→추천수가 올라감→다음 에이전트가 추천수가 높은 노래를 추천→추천수가 더 올라감

추천 수를 본 AI들은 초반에 더 인기 있던 노래를 점점 더 많이 선택했어. 그런데 실험을 반복할 때마다 최종 순위가 똑같이 나온 건 아니야. 즉 먼저 투표에 참여한 AI들이 어떤 곡을 선택했느냐에 따라 최종 결과가 달라졌다는 이야기야.

노래 자체가 뛰어난지 여부보다 초반에 추천을 많이 받았는지 여부가 더 큰 영향을 미쳤다고 볼 수 있지.

특히 인기순으로 노래를 보여주는 조건에서는 쏠림이 확실히 커진 게 눈에 띄어. 사람도 검색 결과 첫 페이지에 있는 상품을 더 자주 살펴보잖아. AI도 비슷하게, 이미 인기가 높아 눈에 잘 띄는 곡을 우선적으로 살펴보고 선택했던 거야.

앞으로 AI가 인간의 판단에 점점 관여하게 되면 어떤 문제들이 생길지 궁금해져.

예를 들어 AI서비스를 제공하는 업체가 '특정 제품의 소비자 평가순위가 높다는 내용의 자료'를 AI에게 중점적으로 학습하도록 했다면(혹은 보이지 않는 시스템프롬프트에 관련 내용을 슬쩍 삽입한다면), 사용자가 관련 질문을 했을 때도 그 제품에 대해 긍정적 평가를 할 가능성이 높지.

혹은 관련 질문에 대해서 그 제품에 대한 추천을 슬쩍 끼워넣을 수도 있고.

사용자들은 AI가 중립적 판단을 통해서 제품을 추천했다고 생각하겠지만, 사실은 인간이 온라인 쇼핑몰에서 추천순위를 보고 상품을 선택하듯이, AI도 그럴 가능성이 충분하다는 거야.

처음 30개의 선택이 이후 인기를 예측했다

앞서 말했듯이, 이 연구에서 가장 흥미로운 대목은 '초반 선택의 힘'이야.

처음에 투표에 참여한 30개의 AI가 음악 전문가처럼 노래의 진짜 가치를 알아본 건 아니야. 제목과 가사만 제공받은 거니까. 하지만 초반에 투표를 많이 받은 곡이 다음 AI에게 더 눈에 띄었고, 그 노출이 다시 추천을 불러왔을 가능성이 크지.

다만, 추론 기능이 있는 모델 다섯 개와 비추론형 모델 여덟 개를 비교했을 때는 추론형 모델이 평균적으로 덜 흔들렸어. 즉, 이런 군중심리를 피하려면 추론 모델을 쓰는 게 조금 더 유리하다는 거지. 하지만 추천 수의 영향을 받은 건 동일해.

그 영향이 상대적으로 적었을 뿐이야.

〈AI 에이전트들의 집단 행동을 다룬 강연으로, 군중심리가 어떻게 나타나는지 더 깊이 볼 수 있어〉

* Penn CSNBD 채널에 올라온 영상이야.

사람과 비교한 숫자는 조금 다르게 읽어야 한다

✦ 2006 인간 연구와 2026 AI 연구, 뭐가 달라

같은 조건의 직접 비교는 아니야

구분	인간 연구(2006)	AI 연구(2026)
자극	실제 음악 청취	제목·가사만
과제	다운로드 여부 선택	추천 여부 결정
규모	14,341명 참가	13개 모델·168,480 실행

연구진은 이 실험을 2006년 Science에 발표된 고전적인 Music Lab 실험과도 비교했어.

그 연구에서는 14,341명의 참가자가 낯선 노래를 직접 들어 다운로드 여부를 선택했고, 다른 사람들의 다운로드 수를 볼 수 있는 조건에서 인기 쏠림 현상이 나타났지.

이번 논문은 그 인간 데이터와 비교해 AI 집단의 추천 분포 이탈이 약한 영향 조건(추천 결과 제공, 목록 순서 무작위)에서 약 9배, 강한 영향 조건(추천 결과 제공, 목록 순서 인기순)에서 약 4배라고 보고했어.

다만 사람은 실제 음악을 듣고 다운로드 여부를 고른 거고, AI는 제목과 가사만 읽은 뒤 곡을 평가했어. 사람은 노래를 보여주는 그리드나 목록도 봤지만 AI는 텍스트 목록으로 평가했지.

연구진 스스로도 이 결과를 같은 조건에서 측정한 인간 대 AI의 직접 비교로 보기는 어렵다고 설명했어. 하지만 어쨌든 앞선 추천 결과가 인간과 AI의 군중심리를 자극한 건 분명해 보여.

〈인간의 동조와 집단사고 개념을 정리한 영상이야〉

* Khan Academy 채널에 올라온 영상이야.

AI 여러 개의 답변을 모으면 정말 더 믿을 만할까

이 현상은 음악 추천에서만 고려할 문제가 아니야. 제품 후보를 여러 AI에게 평가하게 한 뒤 앞선 점수를 보여주거나, 한 에이전트가 만든 답을 다른 에이전트가 검토하는 시스템에서도 결과가 나올 수 있어.

처음 받은 점수가 근거가 좋아서 높았는지, 단지 먼저 나왔기 때문에 높아졌는지 구분하지 못하면 이후의 평가가 같은 방향으로 쏠린다는 거지.

✦ 에이전트 협업, 편향을 피하려면

독립 조사와 검증을 분리해

토론 전 독립 조사

각 에이전트가 완전히 독립적으로 조사하고 의견을 낸 뒤에 토론해.

검증은 다른 에이전트에게

일을 맡은 에이전트에게 스스로 검증하게 하지 말고 다른 에이전트에게 맡겨.

그러면 여러 개의 AI가 토론하게 만드는 방식을 이용하면 이 문제가 해결될까? 꼭 그렇지는 않아.

첫 번째 에이전트가 어떠한 판단을 내리고, 두 번째 에이전트가 판단을 하기 전에 첫 번째 에이전트의 의견을 참고하게 한다면, 마찬가지로 편향이 생기겠지.

따라서 단순한 토론 구조로는 안 되고, 각자의 에이전트가 완전히 독립적으로 조사를 하고 의견을 낸 뒤에 토론을 하도록 해야 해.

업무에 에이전트를 사용하는 경우에도 에이전트A에게 일을 맡긴 뒤에 그 결과를 스스로 검증하게 하지 말고, 에이전트B에게 검증을 맡기는 게 좋아.

에이전트A는 이미 일을 처리하면서 "이렇게 처리하는 게 맞다"라는 편향을 가지게 되었기 때문에, 후속으로 검증을 할 때도 그 방식이 맞다고 생각할 가능성이 커.

하지만 에이전트B는 에이전트A의 작업을 다시 원점에서 재검토하므로 이런 편향을 피할 수 있겠지.

이번 글은 여기서 마칠게. 또 만나자.

🌐 영어 버전: We Made AIs Vote, and They Started Copying Each Other

쏟아지는 AI기술 속, 쓸만한 아이를 찾아보자