Llama 4 시리즈 공개: Meta의 혁신적 멀티모달 모델이 AI 기준을 넘어선다

Meta가 Llama 4 시리즈를 공개하며 AI의 새로운 기준을 제시했습니다. Scout, Maverick, Behemoth 세 모델은 모든 것이 '멀티모달'을 기본으로 하는划时代的 발전을 이뤄냈습니다.

핵심 모델 소개

• Llama 4 Scout: 17B 활성 파라미터와 16 Expert를 갖춘 경량 모델로, GPU 한 대(H100)에서 동작하며 10M 토큰의 초장문 처리가 가능합니다. 이미지 정렬, 코드 분석 분야에서 Gemma 3, Gemini 2.0 Flash-Lite를 뛰어넘는 성능을 보여줍니다.
• Llama 4 Maverick: 17B 활성 파라미터 + 128 Expert의 조합으로 GPT-4o를 능가하는 1,417 ELO 점수 달성. 추론, 코딩, 이미지 이해 등 전 영역에서 탁월하며, Behemoth 훈련 시 교사 모델로 활용됩니다.
• Llama 4 Behemoth (프리뷰): 288B 활성 파라미터와 2T 이상의 전체 파라미터를 갖춘 대형 모델로, 현재 사전 학습 단계에서도 GPT-4.5를 뛰어넘는 성능을 보여주고 있습니다.

기술적 혁신 포인트

• Mixture of Experts (MoE): 필요한 전문가만 활성화하는 방식으로 연산 효율 2배 향상 (Behemoth는 390 TFLOPs/GPU 성능 기록)
• Native 멀티모달 아키텍처: 텍스트와 이미지(최대 48장 입력 가능)를 초기 단계부터 통합 학습
• FP8 학습 기법: 고속/고효율 학습을 위한 혁신, 메타P 기술 응용
• 초장 문맥 처리: iRoPE 기술을 적용한 Scout 모델은 '무한 문맥' 가능성 탐구 중

훈련 전략의 진화

• SFT → 온라인 RL → DPO 3단계 파이프라인으로 복잡한 작업에 최적화
• 테스트 데이터에서 중~고난이도 프롬프트 집중 훈련으로 성능 격차 극복
• GOAT 테스트를 통한 자동화된 보안 리스크 모니터링 시스템 구축

안전성 강화

• 다층 보호 기술: Llama Guard(입력 검사), Prompt Guard(탈옥 방지), CyberSecEval(보안 리스크 평가)
• 편향성 개선: 응답 거부율 7%에서 2%로 감소, 정치적 균형 유지(Grok 수준)
• 공격 시나리오 테스트: 중급 공격자 수준의 다중 턴 공격까지 탐지 가능

이번 업데이트는 Llama 시리즈 역사상 가장 포괄적인 기술 스택을 갖췄습니다. 개발자라면 반드시 확인해야 할 Llama.com 및 Hugging Face에서 즉시 다운로드 가능합니다.

더 자세한 내용: https://ai.meta.com/blog/llama-4-multimodal-intelligence/