С официальным релизом семейства больших языковых моделей Llama 3.1 корпорация Meta сделала решительный шаг в борьбе за глобальное лидерство в сфере искусственного интеллекта, бросив открытый вызов закрытым проприетарным системам GPT-4o от OpenAI и Gemini 1.5 от Google.
Llama 3.1 стала первой в истории открытой «frontier-моделью» супертяжелого класса, которая демонстрирует результаты на уровне лучших закрытых коммерческих систем, предоставляя компаниям и независимым разработчикам беспрецедентный уровень свободы и кастомизации.
Флагман семейства — гигантская модель масштабом 405 миллиардов параметров (405B) — затмила все существующие открытые архитектуры (Mixtral, Gemma 2) и ознаменовала наступление новой эры в развитии открытого программного обеспечения.
Архитектура и модельный ряд семейства Llama 3.1
Meta представила семейство в трех ключевых размерностях для решения широкого спектра задач:
1. Llama 3.1 405B: Флагманская сверхмодель, обученная более чем на 15 триллионах токенов с использованием 16 000 графических процессоров NVIDIA H100. Обладает контекстным окном в 128 000 токенов и поддерживает сложнейшие рассуждения на уровне GPT-4o. 2. Llama 3.1 70B: Сбалансированная модель для корпоративного использования, идеально подходящая для диалоговых систем, тонкой настройки под доменные задачи и аналитики. 3. Llama 3.1 8B: Легковесная и скоростная нейросеть, способная работать локально на одной потребительской видеокарте с 16 ГБ VRAM (например, NVIDIA RTX 4090).
Аппаратные требования для запуска модели 405B
Локальный запуск модели такого масштаба требует колоссальной серверной инфраструктуры: — Для выполнения инференса в несжатом виде FP16 требуются как минимум две серверные ноды с 16 ускорителями NVIDIA H100 (80 ГБ), более 1 ТБ оперативной памяти и терабайты сверхбыстрого хранилища. — Годовая стоимость аренды такой серверной мощности может превышать 300 000 евро. — Именно поэтому большинство корпоративных клиентов запускают Llama 3.1 через партнерские облачные платформы: AWS Bedrock, Google Cloud Vertex AI, Microsoft Azure, IBM watsonx и Databricks.
Почему открытые веса (Open Weights) меняют правила игры?
Генеральный директор Meta Марк Цукерберг опубликовал открытое манифест-письмо, в котором сравнил развитие открытого ИИ с триумфом открытой операционной системы Linux над закрытыми Unix-системами:
- Независимость от вендора (No Vendor Lock-in): Компании больше не привязаны к капризам ценообразования и политике модерации сторонних провайдеров API.
- Безопасность корпоративных данных: Банки, медицинские учреждения и оборонные структуры могут дообучать Llama 3.1 на своих закрытых серверах без малейшего риска утечки данных.
- Дистилляция знаний (Distillation): Лицензия Llama 3.1 официально разрешает использовать ответы модели 405B для обучения и дистилляции более компактных специализированных моделей.
Ситуация с доступностью в Европейском Союзе
Хотя веса моделей доступны глобально на Hugging Face, Meta официально отложила запуск своего мультимодального ассистента Meta.AI на территории ЕС, сославшись на правовую непредсказуемость европейских регуляторов в рамках регламента GDPR.
Llama 3.1 доказала, что открытый исходный код способен на равных соперничать с технологическими монополиями, открывая новую главу в истории искусственного интеллекта.
This post is also available in: