구글이 ‘최고의 AI(인공지능) 모델’이라며 최근 공개한 '제미나이(Gemini)'의 성능이 논란이 되고 있다. 시연 영상이 사전에 편집된 것으로 드러나고, 질문에 대한 답변도 기대에 미치지 못한다는 평을 받았다.

구글이 경쟁 상대인 미국 오픈AI의 대규모언어모델(LLM)인 'GPT-4'에 맞서기 위해 '제미나이'를 서둘러 공개한 것 아니냐는 지적을 받고 있다.

미국 경제 매체인 CNBC 방송에 따르면 구글은 지난 7일 가장 성능이 뛰어난 AI 모델이라며 제미나이 출시를 발표하면서 6분짜리 시연 영상을 공개했다. 이 영상은 제미나이를 기반으로 한 챗봇이 이용자와 대화하며 시각적인 그림과 물체를 인식하는 것을 보여줬다.

구글이 공개한 '제미나이'의 내부 테스트 영상. 이 영상엔 제미나이가 그림을 그리는 세부 과정을 묘사하고 오리 인형의 모습을 보고 소재를 분석하는 내용이 담겼다. 구글 제공

사람이 펜으로 종이에 오리를 그리자 제미나이가 ‘새’임을 인식한 뒤 오리 옆에 물결 표시를 그리자 ‘오리’라고 답했다. 또 오답인 수학 풀이 과정을 보여주자 틀린 부분을 정확히 지적하고 올바른 수식도 내놨다. 이어 영화 ‘매트릭스’처럼 사람이 총알을 피하는 모습을 보여주니 “영화 ‘매트릭스’의 유명한 장면”이라고 답했다.

이 영상은 제미나이가 짧은 시간에 완벽한 답변을 제공하는 것처럼 보였다. 하지만 실시간 영상이 아니라 사전에 편집한 것이었다.

구글은 이 지적에 “시연은 실시간이 아닌 미리 준비된 이미지와 텍스트 프롬프트를 기반으로 제작됐다”며 “영상은 제미니가 멀티모달 기능으로 상호작용할 수 있다는 것을 예시적으로 묘사한 것”이라고 밝혔다.

제미나이가 질문에 정확한 답을 하지 못하거나 논란의 주제에는 답을 회피했다는 지적도 나왔다.

구글은 제미나이가 오픈AI의 최신 모델인 ‘GPT-4′보다 성능이 우수하다며 AI의 학습량에 따라 울트라, 프로, 나노의 3개 모델로 출시했다. 이 가운데 범용으로 쓰이는 프로는 구글의 AI 챗봇인 '바드(Bard)'에 적용됐지만 답변이 만족스럽지 못하다는 지적을 받는다. 바드는 100여개 언어로 제공되고 있다.

이스라엘과 팔레스타인 무장정파 하마스의 전쟁을 업데이트 해달라고 하자 “최신 정보를 얻으려면 구글 검색을 사용해보라”며 답을 하지 않았다.

한편 제미나이 3개 모델 중 사람에 버금가며 성능이 가장 우수한 것으로 평가받는 울트라는 내년 초 출시될 예정이다.

구글은 방대한 작업에 적합한 울트라의 성능은 LLM 연구개발 평가에서 주로 사용되는 32개의 벤치마크 중 30개에서 기존의 최신 기술을 뛰어넘는 결과를 보여줬다고 강조했다.

구글은 또 울트라는 수학, 물리학, 역사, 법률, 의학, 윤리 등 총 57개의 주제를 복합적으로 활용해 세계 지식과 문제 해결 능력을 평가하는 MMLU(대규모 멀티태스크 언어 이해) 테스트에서 90.04%의 점수를 기록, 전문가보다 높은 결과를 기록한 최초의 모델이라고 설명했다.

사이렌스 정기홍 기자 bonnylim@naver.com 정기홍 기자의 기사 더보기

저작권자 ⓒ 사이렌스. 무단 전재 및 재배포 금지