Red Hat придбав стартап з оптимізації ШІ

Відома компанія з програмного забезпечення з відкритим кодом Red Hat Inc, оголосила про придбання Neural Magic Inc. — стартапу машинного навчання, що спеціалізується на оптимізації моделі штучного інтелекту для гнучкості різного апаратного забезпечення, включаючи стандартні центральні та графічні процесори.

Про це пише siliconangle.com.

Цей крок узгоджується зі стратегією Red Hat щодо просування рішень штучного інтелекту з відкритим кодом, адаптованих до багатьох середовищ розгортання, від локального обладнання до хмарних платформ.

Історія стартапу

Заснована в 2018 році дослідником Массачусетського технологічного інституту Алексом Матвєєвим і професором Ніром Шавітом, Neural Magic відома своєю унікальною технологією, яка оптимізує великі мовні моделі (LLM) для ефективної роботи на звичайних ЦП. Це дозволяє організаціям розгортати моделі штучного інтелекту без потреби в дорогих спеціалізованих чіпах штучного інтелекту, таких як TPU або спеціальні графічні процесори.

Інновації Neural Magic дозволяють системам штучного інтелекту досягати рівня швидкості та продуктивності, порівнянного зі спеціалізованим обладнанням, завдяки використанню готових процесорів. Цей підхід стає все більш актуальним, оскільки LLM зростає у складності та вимагає більшої обчислювальної потужності. Такий спосіб породжує потребу в економічно ефективних рішеннях, які максимізують існуючу інфраструктуру.

Перспективи

Придбання також бере участь у внеску Neural Magic у проект vLLM з відкритим кодом, структуру розгортання, розроблену для ефективної роботи моделі AI у гібридних і хмарних середовищах. У Red Hat відзначили, що проект vLLM, який надає бібліотеки, оптимізовані для різних апаратних архітектур, став значним фактором у рішенні придбати Neural Magic.

Крім того, Neural Magic пропонує сховище попередньо зібраних LLM з відкритим вихідним кодом, які підприємства можуть швидко розгортати за допомогою vLLM, забезпечуючи високоефективне масштабування моделі AI без масштабної конфігурації.

Ініціативи Red Hat

Це придбання доповнює нещодавні ініціативи Red Hat у сфері штучного інтелекту з відкритим кодом, такі як випуск Red Hat Enterprise Linux AI. Ця пропозиція поєднує програми IBM Granite LLM з відкритим кодом та інструменти InstructLab від Red Hat, створені для ефективного розгортання серверів, які, ймовірно, виграють від досвіду кросплатформної оптимізації штучного інтелекту Neural Magic.

Обидві компанії розглядають співпрацю як можливість використовувати зусилля спільноти з відкритим кодом для впровадження інновацій. Генеральний директор Neural Magic Брайан Стівенс підкреслив відданість компанії створенню високопродуктивних крос-платформних можливостей штучного інтелекту, що добре узгоджується зі зобов’язаннями Red Hat щодо розробки штучного інтелекту з відкритим кодом для гібридної хмарної екосистеми.