Meta представила новую модель искусственного интеллекта, содержащую 30 миллиардов параметров. Она разработана для работы непосредственно на персональном компьютере или Mac с одной видеокартой, что позволяет запускать сложные задачи локально, без зависимости от облачных сервисов.
Новая модель получила название Muse Glimmer. Однако, для эффективной работы модели требуются значительные аппаратные ресурсы – в частности, наличие видеокарты с объемом памяти не менее 24 ГБ VRAM. Это может стать препятствием для широкого внедрения технологии.
Эксперты и консультанты сходятся во мнении, что предприятия заинтересованы в локальном развертывании моделей искусственного интеллекта. Тем не менее, оценка экономической целесообразности перехода от облачных сервисов к локальным решениям представляет собой сложную задачу.
Оценка затрат на оборудование – непростая задача, поскольку необходимое количество VRAM зависит от конкретных задач. Кроме того, отсутствует информация о стоимости оперативной памяти в течение следующих 12-18 месяцев. Также сложно прогнозировать изменения цен на облачные сервисы за этот период времени.
В связи с этим, невозможно определить наиболее выгодное финансовое решение для предприятий.
Искусственный интеллект становится капиталовложением, а не операционными расходами
Ноа Кенни, ведущий консультант Digital 520, отметил значительный рост стоимости оперативной памяти за последние 12 месяцев. В связи с этим, провайдеры облачных AI-решений также, вероятно, будут вынуждены повышать цены. Кроме того, IT-специалистам необходимо заранее учитывать логистические аспекты: ключевые вопросы, которые следует задать – "Насколько быстро можно масштабировать? Возможно ли вообще получить необходимое оборудование?".
"Meta изменила подход к агентам, теперь они рассматриваются как капитальные вложения, а не как операционные расходы", - заявил Кенни. "В течение последних двух лет предприятия привыкли арендовать интеллектуальные сервисы по модели оплаты за использование чужих дата-центров. Muse Glimmer позволяет запускать агента непосредственно на собственной видеокарте, прямо на рабочем столе, без необходимости включения счетчика. Это представляет собой прямой вызов бизнес-модели, на которой построены провайдеры облачных AI-решений, и компания Meta, которая не получает доход от API".
В своем объявлении о новом решении Meta подчеркнула стремление сделать его максимально эффективным и экономичным, значительно уменьшив его размеры.
Meta сообщила: «При достижении максимальной точности, модель с 30 миллиардами параметров потребует более 55 гигабайт оперативной памяти – что значительно превышает возможности даже самых мощных потребительских видеокарт. Для уменьшения размера модели мы применяем методы квантования, позволяющие сжать веса до приблизительно 4-битной точности. Это позволяет снизить объем языковой модели до менее чем 20 гигабайт. При этом остается достаточно места для рабочей памяти модели, кэша KV, модуля обработки изображений и компонента для предсказательного декодирования, чтобы все они могли работать одновременно в рамках 24 или 32 гигабайт». Компания подтвердила, что данное сжатие не оказывает существенного влияния на производительность при выполнении задач, требующих взаимодействия.
Предприятиям открываются новые возможности с помощью AI-инструментов
Майк Уилкс, ведущий специалист по информационной безопасности в компании Aikido Security, подчеркнул значимость решения от Meta, поскольку оно предоставляет предприятиям новые возможности.
"Главное в Muse Glimmer заключается не в том, что Meta представила еще одну эффективную модель, а в том, что экономика и архитектура искусственного интеллекта постепенно возвращаются к локальному исполнению," – заявил он. "В результате, финансовое сравнение перестает быть вопросом капитальных затрат, которые можно растянуть на несколько лет, и превращается в постоянные операционные расходы за каждый токен или запрос в облаке."
Это означает, что предприятие может рационально выделить немного больше средств на оборудование, если это обеспечит предсказуемые затраты на ИИ, возможность работы без подключения к сети, контроль над версиями моделей и свободу от внезапных изменений цен или ограничений доступа к API.
Независимый консультант по кибербезопасности и управлению рисками Стивен Эрик Фишер также отметил, что опубликованные Meta спецификации не дают полной картины.
Проблема в том, что переход к локальному исполнению может привести к появлению длинного списка сопутствующих расходов.
Облачные рабочие нагрузки, использующие логику и автоматизацию, могут существенно увеличить потребление ресурсов из-за повторных попыток, вызова инструментов и расширения контекста. При этом локальное развертывание также влечет за собой расходы на оборудование, электроэнергию, обслуживание и эксплуатацию", – отметил Фишер. Он подчеркнул, что даже требования к объему оперативной памяти требуют тщательного анализа.
"Заявленные Meta объемы памяти – 24 ГБ и 32 ГБ – указывают на то, что Glimmer может быть запущен на относительно недорогом оборудовании, но это не означает, что у вас будет достаточно ресурсов для эффективной работы с агентами", – пояснил Фишер. Он отметил, что при рассмотрении других факторов, практические требования к памяти могут превысить 32 ГБ, доступные на видеокарте Nvidia RTX 5090.
"В корпоративной среде Glimmer лучше всего подходит для высокопроизводительных рабочих станций разработчиков, специалистов по анализу данных или специализированных систем искусственного интеллекта, а не для обычных настольных компьютеров или ноутбуков", – заключил Фишер.
Выгода от внедрения новых ИИ-инструментов не гарантирована
Джестин Грейс, генеральный директор консалтинговой компании Acceligence, подтвердил эту точку зрения.
«Не стоит полагать, что перенос вычислений из облака на локальные устройства автоматически приведет к снижению общих затрат», — отметил он, подчеркнув, что переменные расходы на облачные сервисы будут заменены стоимостью развертывания, обслуживания и поддержки локального оборудования, обеспечения безопасности, обновления программного обеспечения и, возможно, более частой замены аппаратного обеспечения.
«Проект Muse Glimmer – важный шаг, поскольку он делает возможным использование искусственного интеллекта на локальных устройствах. Однако, техническая возможность и экономическая целесообразность для бизнеса — это разные этапы», — сказал Грейс. «Я считаю, что Meta успешно преодолела первый этап. Но я не уверен, что они полностью достигли второго».
Тем не менее, Кенни утверждал, что есть и другие факторы в стратегии внедрения Meta, которые затрудняют проведение полноценного сравнения.
Стоит учитывать, что локальная модель использует квантизацию и сжатие до приблизительно 4-битной точности, в то время как облачные API, которые вы сравниваете, обычно предоставляют модели полной точности. Поэтому говорить о честной конкуренции по цене здесь не совсем корректно. Более дешевый агент, требующий большого количества повторных попыток или ручной корректировки, может быстро нивелировать все преимущества локального решения.
Кроме того, локальная модель часто не включает в себя все сервисы, которые обычно предоставляет облачный провайдер.
"Облачный провайдер берет на себя задачи по обновлениям, масштабированию, обеспечению надежности и безопасности всей вашей инфраструктуры. При переносе модели внутри компании, все эти задачи становятся вашими, умноженными на количество машин, на которых она работает", – отметил Кенни. "Большинство компаний, использующих ИИ как сервис, не имеют ресурсов для управления парком локальных моделей, и этот вопрос редко учитывается при расчете окупаемости инвестиций. Приобретение графических процессоров относительно недорогое, однако обновление тысячи из них – задача непростая.
Санчит Вир Гогия, ведущий аналитик из Greyhound Research, также отметил, что в сфере IT часто бывает сложно комплексно прогнозировать все возможные факторы затрат.
«Руководители финансовых отделов вполне обоснованно проявляют скептицизм. Даже если двигатель приобретается для одного сотрудника, он требует значительных инвестиций независимо от того, используется ли он или нет. Meta продемонстрировала возможность использования агента с 30 миллиардами параметров на одном компьютере – это действительно важный инженерный прорыв. Однако, компания не предоставила данных о надежной работе такого агента в масштабах предприятия, а также о возможности безопасной эксплуатации парка таких агентов. Вопросы соответствия модели и производительности – разные аспекты. Ноутбук должен по-прежнему эффективно решать реальные задачи сотрудника», — заявил Гогия. «Экономическая целесообразность зависит от дополнительных затрат на оборудование, сроков обновления и фактического использования, в сравнении с альтернативой – удаленным вычислением».
С другой стороны, Арун Чандресекар, ведущий аналитик Gartner, отметил, что ему "особенно интересно", что компания выбрала разработку более компактной модели, работающей на периферии. Он также высоко оценил использование Meta популярной лицензии Apache. Однако, он выразил надежду, что компания выпустит не только одну модель.
Компании нуждаются в комплексном решении, однако Meta предлагает лишь отдельные элементы», — отметил Чандресекар. «Компания могла бы разработать более универсальную платформу, отвечающую широкому спектру потребностей».
