Запуск AI-модели с 397 миллиардами параметров на маленьком ПК от AMD: будущее edge computing

AMD смогла запустить искусственный интеллект с 397 миллиардами параметров на небольшом ПК, вместо целого серверного зала с GPU. Это подчеркивает новшества и потенциал в области edge computing.

Что произошло?

Longsys успешно запустила огромную модель искусственного интеллекта, используя специализированный ПК на базе AMD Ryzen AI Max+ 395 с 128 ГБ ОЗУ. Подобная операция всего год назад требовала множества GPU и крупных дата-центров. Это развитие показывает, что приложения ИИ становятся гораздо более компактными и портативными.

Почему это важно?

В последние годы роль edge computing постоянно растет. Эта технология позволяет обрабатывать данные ближе к устройствам пользователей. Таким образом, время передачи данных сокращается, а вычислительная мощность увеличивается. Например, решения, разработанные Nokia для приложений 5G, используют скорость edge computing, предлагая более быструю и эффективную сетевую структуру. Кроме того, такие разработки позволяют снизить потребление энергии и затраты.

Доступность таких технологий также ускорит распространение приложений ИИ. Много лет назад крупные проекты в области ИИ были возможны только для крупных компаний с доступом к огромным серверам и машинам. Теперь же более мелкие предприятия и даже индивидуальные разработчики могут использовать такие модели на своих устройствах. Таким образом, решения ИИ открывают путь к революционным приложениям в здравоохранении, образовании, сельском хозяйстве и многих других областях.

Что меняется?

Это развитие, похоже, предлагает большие возможности, особенно для малых предприятий. Теперь для запуска мощной модели ИИ не потребуется большая инфраструктура. Такие операции могут выполняться с помощью специализированного компактного ПК. Это может изменить конкурентную среду; малые игроки смогут воспользоваться большими наборами данных и приложениями ИИ, что может изменить баланс сил в отрасли.

Что дальше?

В будущем ожидается быстрое распространение приложений ИИ с ростом edge computing. Более низкие затраты и увеличенная доступность могут открыть новые возможности для бизнеса. Кроме того, такие разработки предлагают важные преимущества в области безопасности и конфиденциальности данных; поскольку данные будут обрабатываться на устройствах пользователей, необходимость передачи данных за пределы уменьшается.

В заключение, операция, проведенная с новым ПК от AMD, является не только технологическим достижением, но и важным знаком того, как будет развиваться индустрия. Рост edge computing позволит приложениям ИИ достичь более широкой аудитории, что может привести к коренным изменениям в ряде секторов.