Дослідники з Університету Цінхуа та Zhipu AI, Китай розробили нову велику мовну модель (LLM) під назвою LongWriter. Її унікальність у тому, що вона здатна генерувати тексти обсягом до 10 000 слів. Це значно більше, ніж поточні можливості більшості мовних моделей. Зазвичай їх можливості обмежуються текстами до 2000 слів. Модель і результати дослідження були представлені в статті, доступній на сервері препринтів arXiv.
Про це пише TechXplore.com.
Більшість сучасних мовних моделей, включаючи відомі моделі GPT, тренуються на коротких текстових фрагментах і обмежуються генеруванням відповідей довжиною до кількох тисяч слів. Це обмеження унеможливлює створення повних рукописів книг або наукових статей. Дослідники припустили, що зміна підходу до навчання моделей на довших текстах може розширити їх здатність генерувати більш об’ємні документи.
Розробка та навчання LongWriter
Для перевірки своєї ідеї команда спочатку створила LLM з 9 мільярдами параметрів і навчила її на звичайних коротких текстах, що підтвердило обмеження до 2000 слів. Потім вони модифікували LLM за допомогою конвеєра AgentWrite, який розділяє навчальний матеріал на підзавдання, що дозволяє обробляти великі обсяги інформації послідовно. Вони зібрали спеціальний набір даних під назвою LongWriter-6k, який містив документи від 2000 до 32 000 слів, і використовували його для навчання модифікованої LLM. Це призвело до можливості генерації текстів обсягом до 10 000 слів.
Результати та перспективи
Аналізуючи результати, дослідники виявили, що тексти, згенеровані LongWriter, були послідовними та відповідали різним контекстам, таким як наукові статті та туристичні путівники. Вони навіть опублікували відео, де LongWriter генерує туристичний путівник для Китаю, що складається з 10 000 слів.
Етичні міркування та майбутнє розвитку
Розробники визнають, що збільшення можливостей LLM до генерації довгих текстів піднімає важливі етичні питання. Виникають потенційні ризики, пов’язані зі створенням дослідницьких статей, книг або навіть сценаріїв фільмів за допомогою AI, що може мати вплив на авторське право, чесність та достовірність інформації.
Команда зробила свою модель LongWriter відкритою для спільноти на GitHub, що дозволяє іншим дослідникам і розробникам продовжити роботу над удосконаленням цієї технології.
