AI 활용은 늘었는데 예산은 한계…‘토큰 효율’ 고민 깊어지는 기업.....

게티이미지뱅크 인공지능(AI) 토큰을 둘러싼 기업들의 고민이 깊어지고 있다. 생산성 향상을 위해 인공지능 도구를 업무에 적극 도입했지만, 관련 비용이 예상보다 빠르게 증가하고 있어서다. 투입된 비용이 실제 업무 성과로 얼마나 이어지는지 측정하기 쉽지 않다는 점도 기업 고민을 키우는 또하나의 요인이다. 25일 한겨레 취재를 종합하면, 최근 삼성전자가 생성형 인공지능을 업무 전반에 도입하기로 한 가운데, 앞서 기업용 인공지능 서비스를 활용한 네이버·넥슨·엘지 씨엔에스(LG CNS), 삼성에스디에스(SDS) 등 국내 주요 기업들은 토큰 비용 관리와 투자 효과 검증이라는 새로운 과제에 직면하고 있다. 특히 토큰 비용 문제는 기업용 서비스의 독특한 과금 구조에서 비롯된다. 생성형 인공지능 개인용 구독 상품은 월 정액제지만, 기업용 제품은 대부분 사용량에 따라 비용을 지불하는 종량제 방식이다. 토큰은 인공지능이 문장을 이해하고 답변을 생성하는 과정에서 사용하는 데이터 처리 단위로, 기업은 모델에 입력한 내용과 생성 결과물의 토큰 수를 기준으로 사용료를 낸다. 일반적으로 답변 생성에 쓰이는 출력 토큰의 단가가 입력 토큰보다 5~10배가량 높다. 한 인공지능 대기업 관계자는 “개인용 구독 상품은 회사에서 쓰는 비즈니스 솔루션에 견줘 매우 저렴한 편”이라며 “(회사) 비용 부담을 줄일 수 있는 다른 방안을 고민하고 있지만, (오픈AI·앤트로픽의) 새 모델이 나올 때마다 체감되는 성능 차가 크다 보니 사실상 대안을 찾기 쉽지 않다”고 말했다. 한 게임업체 프로그래머는 “얼마 전 로그 데이터 분석을 위해 앤트로픽 상위 모델인 오퍼스(Opus) 4.8 모델을 사용했는데 10분 만에 약 10달러의 토큰 비용이 발생했다”고 말했다. 10분 만에 개인 구독 상품인 챗지피티(GPT) 플러스나 클로드 프로의 월 구독료(20달러) 절반에 육박하는 비용이 발생한 셈이다. 이 때문에 미국에서는 직원들의 인공지능 활용을 제한하는 사례까지 등장하고 있다. 차량 공유 업체 우버는 올해 배정된 인공지능 예산을 지난 4월 모두 소진한 뒤 직원들의 월 토큰 사용 한도를 1인당 1500달러로 제한했다. 아마존과 메타는 인공지능 활용을 장려하기 위해 사용량이 많은 직원 순위를 공개하던 ‘리더보드’ 제도를 최근 폐지했다. 무분별한 인공지능 사용을 부추겼던 ‘토큰맥싱’ 현상에 제동을 걸고 나선 것이다. 국내 기업들도 대응책 마련에 나서고 있다. 일부 기업은 ‘효율적인 토큰 사용’을 위한 가이드라인을 만들어 직원들에게 배포하고 있다. 한 아이티(IT) 대기업 관계자는 “토큰 사용을 최소화할 수 있도록 코드 검증 시 전체 코드를 입력하지 않고 문제가 예상되는 부분만 선별해 입력하도록 하는 등의 방법을 회사가 직원들에게 권장하고 있다”고 했다. 결국 기업들의 화두는 인공지능 사용량보다 투자 대비 효과를 따지는 방향으로 바뀌고 있다. 강덕원 넥슨코리아 에이아이본부장은 최근 열린 넥슨개발자콘퍼런스(NDC)에서 “단순히 토큰을 얼마까지만 쓰라고 제한할 수는 없다”며 “만약 인공지능 활용으로 기존 대비 프로젝트 기간이 한 달 단축됐다면 상당한 토큰 비용이 발생하더라도 충분히 가치가 있는 것”이라고 말했다. 이어 “(효율적인 인공지능 활용을 위해) 토큰 사용 데이터와 활용 패턴, 프로젝트 진행 상황 등을 종합적으로 고려해 토큰 비용이 얼마나 효용성 있게 사용되고 있는지 평가할 계획”이라고 덧붙였다.