나도 속고 너도 속았다…‘AI 슬롭 루프’ [스페셜리포트]

최근 글로벌 회계·컨설팅 기업 KPMG는 지난해 10월 발간한 보고서(Redefining excellence in the age of agentic AI)를 회수했다. 보고서에 사실과 다른, 잘못된 내용이 포함됐기 때문이다. 주요 외신은 생성형 인공지능(AI)이 만든 잘못된 정보가 발단이 됐다고 지적했다. KPMG 측은 “앞으로는 보고서 등 콘텐츠를 만들 때 정확성(accuracy)과 신뢰성(integrity)을 주의해서 살펴보겠다”고 반성했다.일상 콘텐츠에서도 비슷한 일이 반복된다. 최근 국내 SNS에서는 프로야구 경기장 관람석에 앉은 한 여성이 카메라를 바라보는 5초짜리 영상이 화제가 됐다. 영상은 ‘야구장 여신’이라는 이름으로 퍼졌고 조회 수는 수천만회를 넘겼다. 하지만 해당 인물은 AI가 만든 가상 인물이었다. 단서는 곳곳에 있었다. 전광판에는 은퇴 선수와 현역 선수가 맞붙는 것처럼 표시됐다. 응원 문구도 어색했다. 그런데도 상당수는 이를 알아차리지 못했다.공공 안전 이슈에서도 AI 가짜 콘텐츠는 혼선을 키웠다. 지난 4월 대전 오월드에서 늑대 ‘늑구’가 탈출했다. 당시 인터넷과 SNS에는 늑대가 학교 앞 교차로를 지나가는 듯한 사진이 퍼졌다. 시민 불안은 커졌다. 하지만 사진은 실제가 아니었다. AI가 만든 합성 이미지였다. 장난처럼 만든 이미지가 재난·안전 정보처럼 소비된 셈이다.이런 가짜·저품질 콘텐츠를 두고 ‘AI 슬롭(Slop)’이라는 표현이 쓰인다. AI가 만들어낸 ‘찌꺼기’라는 뜻이다. 문제는 AI 슬롭이 증식한다는 점이다. 가짜 콘텐츠가 조회 수를 얻으면 비슷한 프롬프트(제작 방식)가 퍼진다. 이를 모방한 또 다른 콘텐츠가 생성된다. 인터넷과 SNS에는 관련 콘텐츠가 쌓이고, 일부는 AI 모델의 학습 데이터로 흘러 들어간다. AI 답변 품질은 흔들리고 환각(잘못된 정보를 제공하는 행위)도 잦아진다. 잘못된 정보가 사람에게 퍼지고, AI는 재차 이를 학습한다. 가짜가 가짜를 낳는 구조다. 이른바 ‘슬롭 루프’다. 최근 SNS상에서는 인공지능(AI)을 이용해 스포츠를 관람 중인 가상인물을 만드는 유행이 번졌다. (구글 제미나이로 생성된 AI 이미지)韓, AI 슬롭 1위 불명예빠른 유행이 가짜도 키웠다한국은 유독 AI 슬롭에 취약하다. 숫자로도 나타난다. AI 영상 편집 플랫폼 캡윙(Kapwing)이 지난해 10월 발표한 보고서(The Global Rise of Low-Quality AI Videos)에 따르면, 국가별 인기 유튜브 채널 상위 100개를 조사한 결과 한국의 AI 슬롭 채널 조회 수는 84억5000만회를 기록했다. 파키스탄(53억4000만회)과 미국(33억9000만회)을 제치고 20개국 중 1위다. 이게 끝이 아니다. 캡윙은 가장 많은 조회 수가 집계된 AI 슬롭 채널 10개 중 4개가 한국 채널로 추정된다고 밝혔다.해외 언론도 한국의 AI 슬롭 확산을 심상치 않게 보고 있다. 홍콩 사우스차이나모닝포스트(SCMP)는 지난 5월 ‘한국은 어떻게 AI에 대한 현실 감각을 잃었나(Reality deficit: How South Korea lost the plot on AI)’ 제목의 기사를 내고 한국의 생성형 AI 콘텐츠 소비 문화를 조명했다. SCMP는 전문가 인터뷰를 토대로 “외모와 사회적 이미지에 민감한 한국 사회에서 AI 콘텐츠는 채워지지 않은 욕망과 좌절을 비추는 ‘왜곡된 거울’ 역할을 한다”고 평가했다. 또 “AI 콘텐츠에 과도하게 몰입할수록 현실을 외면하게 되고, 삶의 만족도 역시 낮아지는 악순환이 나타날 수 있다”고 우려했다.전문가들은 한국 특유의 ‘동조성’을 AI 슬롭 확산 배경으로 꼽는다. SNS에서 특정 영상의 조회 수가 급격히 늘고 댓글창에 실제 영상이라는 반응이 쌓이면, 이용자는 이를 사실처럼 받아들일 가능성이 커진다는 설명이다. ‘다수의 반응’이 일종의 신뢰 지표로 작동하는 형태다.한국 사회 특유의 유행 민감도도 AI 슬롭 확산을 키우는 요인으로 거론된다. 특정 밈이나 챌린지가 등장하면 짧은 시간 안에 따라 하는 문화가 강하다. ‘야구장 여신’ 사례도 비슷하다. 처음에는 한 편의 AI 영상이 화제가 됐지만 이후에는 서로 만들어보겠다며 프롬프트를 공유했다. 원본의 진위 여부보다 유행에 참여하는 행위 자체가 더 중요해진 것이다. 이미지 한 장과 짧은 프롬프트만 있으면 누구나 그럴듯한 영상을 만들 수 있는 새로운 앱과 서비스를 빠르게 받아들이는 한국 이용자의 기술 수용성이 저품질 AI 콘텐츠의 빠른 확산으로 이어진 꼴이다.곽금주 서울대 심리학과 명예교수는 “한국은 동조성이 워낙 강하고 유행에도 민감하다”며 “조회 수가 많고 댓글에서 실제라고 믿는 반응이 이어지면 AI로 만든 콘텐츠도 진짜처럼 받아들여질 수 있다”고 말했다. 이어 “정보를 빠르게 받아보려는 성향도 강해 충분히 확인하기 전에 공유와 소비가 먼저 이뤄지는 경우가 많다”고 설명했다.한국 특유의 빠른 정보 소비 성향도 AI 슬롭 확산을 키운다. 사건·사고가 벌어졌을 때 정부나 기관의 공식 발표를 기다리기보다 SNS에서 먼저 단서를 찾는 경우가 많다. AI 합성 이미지가 이런 심리를 파고들면 실제 목격담처럼 소비될 수 있다. 곽금주 교수는 “한국 이용자들은 정보를 빨리 접하려는 욕구가 강하다”며 “공식 발표 전에 먼저 알고 싶어 하는 심리를 겨냥해 가짜 콘텐츠가 만들어질 수 있다”고 진단했다. 특히 정치·사회적 이슈에서는 이런 현상이 더 두드러진다. 곽 교수는 “정치적 콘텐츠나 사회적 갈등을 자극하는 콘텐츠는 시민들의 감정을 건드리기 쉽고, 그만큼 사회 혼란을 유발할 수 있다”고 우려했다. 아이패드 전용 드로잉 앱 ‘프로크리에이트’는 2024년 ‘AI 도입 반대’를 선언했지만 여전히 미국 내 아이패드 유료 앱 다운로드 1위를 기록 중이다. (프로크리에이트 홈페이지 갈무리)진짜 문제는 ‘슬롭 루프’슬롭 학습이 부른 모델 붕괴AI 슬롭은 인터넷과 SNS를 더럽히는 데서 끝나지 않는다. 오염된 내용을 AI 모델이 다시 학습한다는 게 문제다. 인터넷과 SNS에는 사람이 쓴 글과 AI가 만든 글이 뒤섞여 쌓인다. 이용자는 진짜와 가짜를 구분하기 어렵다. AI 모델도 마찬가지다. 데이터가 제대로 걸러지지 않으면, AI 모델은 사람이 만든 지식과 AI가 지어낸 내용을 함께 배운다.학계는 이를 ‘모델 붕괴(Model collapse)’라고 부른다. 모델 붕괴는 2024년 국제학술지 네이처에 실린 논문(AI models collapse when trained on recursively generated data)에서도 다뤄졌다. 논문은 온라인 텍스트의 상당 부분을 AI가 만드는 미래를 가정했다. 이때 AI가 만든 글이 모델 학습 데이터에 섞이면 문제가 생긴다고 봤다. 해당 논문은 “생성형 AI 모델이 만든 데이터가 다음 세대 모델의 학습 데이터를 오염시키고, 오염된 데이터로 학습한 모델이 현실을 잘못 인식하게 되는 퇴행적 과정”이라고 설명했다.특히 논문은 AI 모델이 AI가 만든 콘텐츠 등을 학습하는 과정에서 데이터의 ‘꼬리’가 사라진다고 지적했다. 꼬리는 전체 데이터에서 비중은 작지만 현실의 다양성을 보여주는 사례를 뜻한다. 흔하지 않은 표현, 소수 의견, 예외적인 사례, 독특한 이미지가 여기에 해당한다. 인터넷에는 원래 이런 꼬리 정보가 함께 섞여 있다. 하지만 AI 슬롭은 대체로 비슷한 콘텐츠만 만든다. 이런 콘텐츠가 학습 데이터에 계속 섞이면 AI는 자주 보이는 패턴만 배운다. 예외적인 사례는 학습하지 못한다. 답변은 매끄러워 보일 수 있다. 하지만 내용은 점점 뻔해진다. AI가 현실을 넓게 이해하는 힘도 떨어진다. 예컨대 인물 이미지가 그렇다. 현실 속 사람은 얼굴도 몸도 표정도 제각각이다. 하지만 AI 슬롭 속 인물은 비슷한 모습으로 반복된다. 큰 눈, 매끈한 피부, 과장된 표정이 자주 등장한다. 이런 이미지가 인터넷에 쌓이면 AI 모델은 사람의 다양한 모습을 배우기보다 ‘조회 수가 잘 나오는 얼굴’을 더 많이 배우게 된다. 결국 다음 이미지도 비슷해진다.피해는 결국 이용자에게 돌아온다. 이용자는 AI가 내놓은 답변을 검색 결과처럼 받아들인다. 기업은 보고서 초안을 만들 때 AI를 쓴다. 학생은 과제에 활용한다. 이때 AI가 슬