글로벌 AI 성능 1위도 떨어뜨린다는 정부 사업의 ‘사용성’ 평가, 대체 그 기준이 무엇일까요?
AI 제왕의 허무한 추락
정부의 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 사업 2차 평가에서 모티프테크놀로지스가 글로벌 AI 성능 지표 AAII에서 경쟁사를 압도하고도 최종 탈락했습니다. 과기정통부가 세부 평가 점수를 공개하며 진실 공방이 이어지는 중입니다.
숫자 만능주의 시대의 역설
모티프테크놀로지스가 벤치마크 평가에서 1위를 차지했음에도 불구하고 ‘사용성’ 평가에서 낮은 점수를 받아 탈락한 것이 알려지며 평가 지표의 객관성과 투명성에 대한 비판이 제기됩니다. 정량 평가인 벤치마크와 달리 전문가 및 사용자 중심의 사용성 평가는 질의 환경이나 평가단의 성향에 따라 점수 편차가 발생할 수 있다는 지적입니다.
블랙박스 속 ‘사용성’ 지표, 투명성을 외치다
이번 2차 평가의 핵심 쟁점으로 떠오른 ‘사용성’ 지표는 AI 모델이 산업 현장과 서비스 환경에서 유의미하게 쓰일 수 있는지 검증하는 척도입니다. 하지만 채점 기준이 명확하지 않아 ‘심사위원 마음대로’라는 오해를 사기 쉽다는 비판이 커지고 있습니다. 이에 정부 AI 사업의 투명하고 객관적인 채점 기준 정립 요구가 거세지고 있습니다.
스몰톡 포인트
AI 성능 1위도 탈락시키는 ‘사용성’ 평가, 대체 기준이 뭐길래 이렇게 논란일까요?