ETRI, 세계 첫 절차 생성 AI 벤치마크 기술 개발

성능 평가 시간·비용 대폭 감축 기대

로타 벤치마크 기술에 관해 논의하는 ETRI 연구진[ETRI 제공. 재판매 및 DB 금지]

[충청투데이 강승구 기자] 한국전자통신연구원(ETRI)은 사람이 말로 작업을 명령하면 스스로 작업절차를 이해하고, 계획을 수립해 수행하는 ‘로타벤치마크기술’을 개발했다고 7일 밝혔다.

알프레드 기반 벤치마크 결과는 오픈AI(OpenAI)의 GPT-3는 21.36%, GPT-4는 40.38%, 메타(Meta)의 라마2(LLaMA 2)-70B 모델이 18.27%, 모자이크엠엘의 MPT-30B 모델이 18.75% 성공률을 보였다고 설명했다.

ETRI가 개발한 로타벤치마크 기술은 사용자의 명령에 따라 대형 언어모델이 생성한 작업 절차를 실행하고, 결과가 지시한 목표와 같은지 자동으로 비교하여 성공 여부를 판단한다.

평가 시간과 비용도 최소화했으며 결과는 객관적이었다.

연구진은 세계 최우수 인공지능 학술대회 표현학습국제학회에 논문도 발표하고, 개발한 기술을 이용해 대형 언어모델 총 33종의 절차생성 성능 평가 결과도 공개했다.

이번 개발로 대형 언어모델을 이용한 로봇 작업계획 기술의 성능 평가 시간과 비용을 대폭 줄일 수 있게 되었다고 연구진은 전망했다.

강승구 기자 [e-mail]