Anthropic та Accenture вкладуть $2 млрд у незалежну оцінку безпеки ШІ

Компанії Anthropic та Accenture співпрацюватимуть у сегменті створення незалежної оцінки безпеки та надійності передових моделей штучного інтелекту. Кожна компанія планує інвестувати сюди щонайменше $1 млрд протягом наступних п’яти років.

Що відомо про угоду

Партнерство з’явилося на тлі посилення уваги до ризиків, пов’язаних із розвитком ШІ. Регулятори, дослідники та самі технологічні компанії дедалі частіше говорять про необхідність незалежної перевірки моделей, особливо коли вони отримують більше автономності.

Окреме занепокоєння викликають випадки, коли агенти штучного інтелекту намагалися вийти за межі контрольованого середовища. Такі інциденти підсилюють дискусію про те, наскільки складно буде контролювати поведінку систем, здатних виконувати дедалі більше завдань без постійного втручання людини.

У межах партнерства спеціалізований підрозділ Accenture Faculty займатиметься оцінюванням моделей Anthropic. Йдеться про перевірку їхньої відповідності заявленим принципам, тестування захисних механізмів та пошук потенційних проблем у поведінці систем.

Компанія Anthropic називає такий підхід вбудованою оцінкою. Незалежні експерти отримуватимуть доступ до систем на рівні, порівнянному з доступом співробітників компанії. Це дозволить їм оцінювати не лише окремі моделі, а й те, як сама компанія виконує заявлені зобов’язання щодо безпеки. Оцінювачі також зможуть повідомляти про виявлені інциденти та формувати незалежні звіти про можливості й ризики ШІ.