‘독파모’ 2차 글로벌 벤치마크서 스타트업 약진
국가대표 인공지능(AI)을 선발하는 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가에서 글로벌 성능 지표상 스타트업들이 대기업을 앞서는 결과가 나왔다.
글로벌 AI 모델 평가기관 아티피셜 애널리시스(Artificial Analysis)가 산출하는 ‘아티피셜 애널리시스 인텔리전스 지수(AAII)’의 최신 버전(v4.1.1)에서 독파모 참여 4개사 모델의 점수는 모티프테크놀로지스의 ‘모티프 3’가 47점으로 가장 높았다. 이어 업스테이지의 ‘솔라 오픈2’가 37점, SK텔레콤의 ‘A.X-K2’가 35점을 받았으며, ‘K-엑사원 2.0’을 내놓은 LG AI연구원은 31점으로 4개사 중 가장 낮은 점수에 그쳤다.
이번 결과는 지난해 12월 진행된 독파모 1차 평가와 대비되는 판도라는 점에서 관심을 끈다. 당시 LG AI연구원은 벤치마크 종합 점수 33.6점으로 1위를 차지한 바 있다. 반면 이번 2차 평가에 가장 늦게 합류한 모티프테크놀로지스가 AAII에서 1위로 올라섰고, 업스테이지도 2위에 오르며 스타트업 두 곳이 나란히 대기업을 앞질렀다.
다만 이번 점수를 독파모 2차 평가의 최종 순위로 곧바로 연결짓기는 어렵다는 지적이 나온다. 2차 평가는 총 100점 만점 가운데 벤치마크 평가가 40점을 차지하며, 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA)이 자체 개발한 벤치마크가 15점을 차지한다. 나머지는 전문가 평가 35점, 국민평가단이 참여하는 사용자 평가 25점으로 구성돼 벤치마크 점수의 비중은 절대적이지 않다.
AAII는 지식·추론·코딩 등 여러 영역의 개별 벤치마크를 하나의 지수로 환산하는 종합 평가 방식이다. 모델의 전반적인 지적 능력을 한 번에 비교할 수 있다는 장점이 있지만, 어떤 벤치마크를 조합에 포함시키느냐에 따라 점수가 크게 출렁이는 특성도 지닌다. 버전이 바뀔 때마다 특정 평가 영역이 통째로 빠지거나 새로 추가되면서 10점에서 20점 안팎의 변동이 발생하기도 한다.
특히 AAII에는 한국어 평가 항목이 포함되지 않는다는 한계가 꼽힌다. 다국어 이해 능력이나 국내 산업 현장에 특화된 과업 수행력, 운영 효율성 등은 이 지수만으로 가늠하기 어렵다는 것이다.
벤치마크 점수의 신뢰성을 둘러싼 논란도 여전하다. 업계에서는 벤치마크의 취약 영역을 집중적으로 공략해 실제 성능과 무관하게 점수만 끌어올리는 행위를 ‘벤치맥싱’이라고 부르는데, 오픈AI 공동 창업자 출신으로 현재 앤트로픽에서 AI를 연구하는 안드레이 카파시는 지난해 연례 보고서에서 벤치마크 점수에 대한 신뢰가 예전만 못하다는 취지의 견해를 밝힌 바 있다. 국내 AI 업계 관계자 역시 벤치마크 점수 상승이 실제 성능 향상으로 곧장 이어지는 것은 아니라는 견해를 전했다.
이에 대해 정부는 전문가 평가와 국민평가를 함께 반영하는 만큼 벤치마크 과적합으로 인한 왜곡이 있더라도 상당 부분 보완할 수 있다는 입장이다. 과학기술정보통신부와 정보통신산업진흥원(NIPA)은 성별·연령별 인구 비례를 적용한 국민평가단 200명의 평가를 이달 초부터 진행해 마무리했으며, 이 결과를 벤치마크·전문가 평가와 합산해 조만간 2차 평가 최종 결과를 발표할 예정이다. 이번 2차 평가에서는 참여 4개사 가운데 3개 팀이 살아남아 연말 최종 평가로 진출한다.