Новини
Робот з ШІ переміщається за допомогою мови
Дослідники з MIT і лабораторії Watson AI Lab MIT-IBM розробили систему штучного інтелекту, яка дозволяє роботам виконувати навігаційні завдання на основі мовних інструкцій. Її унікальність полягає у використанні текстових описів візуальних даних для керування роботами, що знижує залежність від великих обсягів візуальних спостережень.
Про це пише Neurosciencenews.com.
Основні факти:
- Мовна модель: Система перетворює візуальні спостереження робота на текстові підписи, які використовуються для прийняття рішень під час навігації.
- Ефективність: Метод працює ефективно в умовах обмежених візуальних даних і добре поєднується з візуальними входами для покращення продуктивності.
- Застосування: Мовні інструкції дозволяють системі легко генерувати синтетичні навчальні дані, полегшуючи процес навчання.
Переваги підходу:
- Зменшення залежності від візуальних даних.
- Спрощення процесу навігації завдяки використанню великих мовних моделей.
- Можливість поєднувати мовні та візуальні підходи для кращої точності.
Система може допомогти роботу виконати завдання, наприклад, перенести речі до іншої кімнати, керуючись як мовними інструкціями, так і описами його оточення.
Дослідження
Поки дані можуть бути закодовані як мова, вони можуть використовувати ту саму модель без внесення будь-яких змін. Щоб подолати ці проблеми, дослідники з Массачусетського технологічного інституту та лабораторії Watson AI Lab MIT-IBM розробили метод навігації, який перетворює візуальні представлення на фрагменти мови, які потім подаються в одну велику мовну модель, яка виконує всі частини багатоетапної навігаційної задачі.
Замість того, щоб кодувати візуальні характеристики із зображень оточення робота як візуальні представлення, що потребує обчислень, їхній метод створює текстові підписи, які описують точку зору робота. Велика мовна модель використовує підписи, щоб передбачити дії, які повинен виконати робот, щоб виконати мовні інструкції користувача.
Використовуючи виключно мову як перцептивне представлення, наш підхід є більш простим. Оскільки всі вхідні дані можуть бути закодовані як мова, ми можемо створити зрозумілу людині траєкторію», — каже Боуен Пан, аспірант з електротехніки та інформатики (EECS) і провідний автор статті про цей підхід.
Оскільки їхній метод використовує суто мовні представлення, вони можуть використовувати велику мовну модель для ефективного генерування величезної кількості синтетичних навчальних даних. Хоча цей підхід не перевершує техніки, які використовують візуальні функції, він добре працює в ситуаціях, коли не вистачає візуальних даних для навчання. Дослідники виявили, що поєднання їхніх мовних вводів із візуальними сигналами призводить до кращої продуктивності навігації.
