인공지능(AI) 거대언어모델(LLM) 시장 경쟁이 다시 불을 붙이고 있다.
지난 1월 상대적으로 저렴한 중국의 AI 모델 '딥시크'가 공개된 이후 '챗GTP'로 시장을 개척한 오픈AI와 구글, 알리바바가 최신 모델을 쏟아낸 이후 페이스북 모회사인 메타도 기존 모델 성능을 끌어올린 LLM 모델을 공개했다.
메타는 5일(현지 시각) 자사의 최신 LLM인 '라마4(LLama 4)'를 공개했다.
메타의 최신 LLM인 '라마4(LLama 4)' CI
'라마4'는 베헤모스, 매버릭, 스카우트로 나뉘어 있다. 이날 오픈소스로 공개된 것은 매버릭과 스카우트 두 모델이다. 베헤모스는 현재 학습을 진행 중이다.
베헤모스는 매개변수가 2조 개에 이르는 거대모델로 지금까지 공개된 라마 중 가장 많은 매개변수를 가졌다.
2023년 3월 나온 오픈AI의 'GPT-4'는 1조 7600개의 매개변수를 가졌다.
매버릭과 스카우트는 베헤모스를 증류하는 방식으로 만들어졌다.
'라마4 매버릭'은 4000억 개 매개변수로 'GPT-4o', '제미나이 2.0 플래시'보다 우수한 성능을 내고 코딩과 사고력에서 '딥시크 V3'와 유사한 성능을 발휘한다.
'라마4 스카우트'는 매개변수가 1090억 개인 소형 모델로 추론 처리에 최적화돼 있다. '젬마3', '제미나이2.0 플래시 라이트'에 비해 우수한 성능을 보였다.
'라마4'는 전문가 혼합(MoE) 방식을 도입한 것이 큰 특징이다. MoE는 질문에 따라 필요한 AI만 활용하는 방식으로 비용을 줄이면서도 성능을 높일 수 있다. 중국의 AI 모델 '딥시크'가 이 방식을 적극 사용한 것으로 잘 알려져 있다.
'라마4'는 딥시크의 장점을 취하면서도 딥시크가 갖추지 못한 멀티모달 기능에 집중했다.
메타는 "음성 등 많은 양의 정보를 한 번에 입력할 수 있는 최초의 개방형 멀티모달 모델"이라고 소개했다.
한편 지난 1월 딥시크가 초저가 고효율로 세상을 놀라게 한 이후 빅테크 기업들의 신형 LLM이 매달 쏟아지고 있다.
샘 올트먼 오픈AI 최고경영자(CEO)는 지난 4일 자신의 X를 통해 신형 AI 모델인 'o3'와 'o4 미니'를 몇 주 내로 공개하고 'GPT-5'를 몇 달 안에 내놓을 것이라고 밝혔다.