Скільки разів літера «р» зустрічається в слові «полуниця». Очевидно, що відповідь — жодного разу, оскільки в цьому слові немає літери «р». Однак питання не тільки про правильну відповідь, а й про те, як штучний інтелект (ШІ) справляється з такими завданнями.
Про це пише TechCrunch.com.
Роль ШІ у виконанні завдань з аналізу тексту
У статті підкреслюється, що сучасні моделі штучного інтелекту, такі як GPT-4 і Claude, створені на основі архітектури трансформаторів, можуть мати труднощі з розумінням концепції букв і складів. Хоча ці моделі здатні генерувати складні тексти і синтезувати великі обсяги даних, їх архітектура призначена для обробки інформації на рівні лексем (токенів), а не окремих символів або букв.
Архітектура трансформаторів та її обмеження
Моделі на базі трансформаторів працюють шляхом перетворення тексту в числові представлення, які допомагають їм інтерпретувати та генерувати текст. Це означає, що під час обробки слів, таких як «полуниця», модель може розуміти зміст слова, але не обов’язково аналізувати його на рівні окремих літер.
Відтак, незважаючи на здатність до обробки складної інформації, ці моделі не завжди точно розпізнають та підраховують конкретні символи у словах.
LLM засновані на цій трансформаторній архітектурі, яка, зокрема, фактично не читає текст. Що відбувається, коли ви вводите підказку, так це те, що вона перекладається в кодування. Коли він бачить слово «the», він має це єдине кодування того, що означає «the», але він не знає про «T», «H», «E»», – розповів TechCrunch Метью Гуздіал, дослідник ШІ та доцент Альбертського університету.
Токенізація та багатомовність
Токенізація — це процес розбиття тексту на менші частини, такі як лексеми або слова, для подальшої обробки. Проблема з точним визначенням складу слова стає ще більш складною в умовах багатомовності, де правила розділення слів можуть варіюватися. Наприклад, у деяких мовах, таких як китайська чи японська, немає чітких пробілів між словами, що ускладнює токенізацію.
Важко обійти питання про те, яким саме має бути «слово» для мовної моделі, і навіть якби ми запросили експертів-людей, щоб узгодити ідеальний словниковий запас лексем, моделі, ймовірно, все одно вважали б корисним «фрагментувати» речі ще далі. Я припускаю, що не існує такого поняття, як ідеальний токенізатор через таку нечіткість», — сказав Фойхт TechCrunch.
Порівняння з генераторами зображень
На відміну від текстових моделей, генератори зображень, такі як Midjourney і DALL-E, не використовують архітектуру трансформаторів. Вони ґрунтуються на дифузійних моделях, що дозволяє їм краще справлятися з візуальними даними, такими як зображення облич чи об’єктів. Проте, як і в текстових моделях, генератори зображень можуть мати проблеми з детальним відображенням дрібних об’єктів, таких як пальці або почерк.
Висновок
Обмеження ШІ у розумінні та аналізі літер і складів підкреслюють важливість врахування архітектурних особливостей при розробці та використанні цих систем. Хоча штучний інтелект здатний виконувати численні складні завдання, такі як написання есе чи аналіз даних, він все ще залишається обмеженим у більш дрібних деталях, які для людей здаються очевидними.
Цей випадок наочно ілюструє, що, попри високий рівень технологічного розвитку, ШІ залишається інструментом, створеним людиною, з відповідними обмеженнями.
