38stock 뉴스속보

www.38.co.kr

2026년 08월 18일 16:08 박건희|김소연 기자|기자

"벤치맥싱" 논란 넘어… "독파모 2차 평가"가 한국에 남긴 것은

18일 발표된 정부의 독자 AI(인공지능)파운데이션 모델 2차 평가전에서는 '점수 부풀리기'를 뜻하는 '벤치맥싱'(Benchmaxxing) 논란이 쟁점으로 떠올랐다. 주요 평가항목 중 하나였던 글로벌 AI 모델 평가지표 '아티피셜 애널리시스 인텔리전스 인덱스'(AAII)에서 국내 최고점을 달성한 모티프테크놀로지스를 두고 사전 공개된 평가지표에 '맞춤형' 학습을 시켰다는 지적이 나오면서다.

이에 대해 정부는 "불공정하지 않다"는 입장을 내놨고 평가기관인 '아티피셜 애널리시스'도 "문제가 없다"는 공식 입장을 밝히며 국내 AI모델의 순수 기술력이 2차전 평가 결과를 좌우했다는 해석이 나온다.

'독파모' 2차 단계평가에서 탈락한 모티프는 지난 13일 'AAII'에서 47점으로 업스테이지, SK텔레콤, LG AI연구원을 제치고 국내 최고점을 받았다. 이를 두고 '벤치맥싱' 논란이 불거졌다.

벤치맥싱은 사전 공개된 AI 평가 지표에 맞춰 특정 성능만 극단적으로 높이는 행위를 말한다. AI에게 고득점을 받기 위해 평가 문항을 사전에 암기시키거나, 특정 유형의 학습만 강화하는 식이다. 벤치마크 평가 점수와 사용자가 실제 체감하는 성능 간 괴리가 나타날 수 있어 문제가 된다.

과학기술정보통신부와 아티피셜 애널리시스는 이같은 벤치맥싱 논란에 대해 공식적으로 반박했다. 류제명 과기정통부 2차관은 이날 서울 세종대로 정부서울청사에서 열린 독파모 2차 평가 발표에서 "아티피셜 애널리시스가 과적합된 문제나 암기 방식이 있었다고 입증할 만한 단서를 찾지 못했다고 밝혔다"고 했다. 아울러 벤치맥싱 논란은 2차 평가에 반영되지 않았다고 선을 그었다.

이와 함께 지난 1월부터 이달까지 진행한 독파모 프로젝트로 국내 AI 모델의 경쟁력이 크게 상승했다는 평가도 나온다. 류 차관은 "전 세계 AI 모델 개발 기업 58개 중 미국과 중국을 제외하면 한국 기업이 7개로 가장 많다"고 밝혔다. AAII 리더보드 등록 기업 통계를 바탕으로 한 수치다.

4개 정예팀은 미국 비영리 AI연구기관인 '에포크 AI'의 '2026년 주목할만한 AI 모델'에도 나란히 이름을 올렸다. 명단에 이름을 올린 국가는 미국·중국·한국 등 3개국 뿐이다. AAII 평가에서도 4개 정예팀 모두 31점 이상을 기록했다. 유럽, 캐나다의 주요 AI 모델을 추월한 점수다. 반년새 최상위 AI 모델과의 점수 격차도 줄었다. 지난 1월 국내 모델의 최고점은 32점(K-엑사원)으로 1위인 '챗-GPT 5.2'(51점)와 19점 차였지만 이달 '모티프-3'이 47점을 받으며 1위인 '키미 K3'(60점)와의 점수차를 16점까지 좁혔다.

정부는 "독파모 프로젝트는 유례없는 대규모 국내 산학연 협력을 끌어내고 역량을 결집해 우리나라의 AI 모델 개발 저력을 높이고 국내외에 알렸다는 점에 있어 의미 있는 성과"라고 밝혔다.

프린트하기 닫기

www.38.co.kr