Texty.org.ua у співпраці з OpenBabylon провели дослідження, яке охопило 27 відкритих мовних моделей, з метою дослідити, як ці моделі сприймають та відображають інформацію про Україну.
У рамках дослідження на мовні моделі було задано 2803 запитання, що стосуються України, й аналізувалися їхні відповіді на предмет уп偏ження. Кожне запитання мало чотири варіанти відповідей — від проукраїнських до проросійських.
Методологія дослідження
Особлива увага в дослідженні приділялася великим мовним моделям (LLM), які генерують текст, а не чатботам, які працюють на їхній основі.
«Мовна модель — це основна технологія, алгоритм штучного інтелекту, здатний генерувати текст у відповідь на запит. Такі моделі стають основою для чатботів, по суті, це — їхнє «мозок». Чатботи, з іншого боку, є прикладами або інтерфейсами, які використовують ці моделі, але доповнені різними обмеженнями, фільтрами та інструкціями», — пояснив співзасновник Texty Роман Кульчинський.
У дослідженні були проаналізовані моделі від таких компаній, як Microsoft, Google, DeepSeek, Cohere, Alibaba Cloud, Mistral та Meta. Окремо перевірили MamayLM — адаптовану для українського контексту версію моделі Google Gemma, розроблену в інституті INSAIT.
Рейтинг дружніх та упереджених мовних моделей
Моделі демонструють різні підходи до трактування питання, пов’язаного з Україною: деякі прямо називають Росію агресором і визнають Крим українським, тоді як інші уникають прямих відповідей або повторюють російські наративи. Найбільш упереджена модель виявилася тією, що поширювала дезінформацію у 33% відповідей. Найчастіше викривлення з’являлися на теми історії, геополітики та національної ідентичності.
У рейтингу дружності до України канадські моделі показали найвищий відсоток проукраїнських відповідей — 30,8%. За ними йдуть французькі моделі з 26,7% та американські з 25,4%. Китайські моделі надали лише 22,1% проукраїнських відповідей, в той час як 19,7% з них були проросійськими.
Найбільше проукраїнських відповідей продемонстрували моделі серії Phi від Microsoft та aya-vision-32b від Cohere — в середньому 38–40%.
Аналіз близько 3000 запитань виявив, що домінує так звана «західна нейтральність». Вона найчастіше проявляється у відповідях на питання, пов’язані з антикорупцією (52% відповідей), ідеологією (50%) та державним управлінням (46%).
Мовні моделі і російські наративи
Російські пропагандистські тези часто з’являлися у відповідях на питання історії (27%), геополітики (24%) та національної ідентичності (23%). Ці теми традиційно є мішенню для дезінформаційних кампаній.
Моделі також часто надавали поверхневі або не зовсім релевантні відповіді, особливо на теми геополітики (13%) та безпеки (11%).
У багатьох випадках LLM повторювали ключові наративи російської пропаганди:
- «Україна є зоною інтересів Росії, а війна — наслідок експансії НАТО»;
- «Східні регіони України тяжіють до Росії, тоді як Захід — до ЄС»;
- «Русифікація мала позитивний вплив»;
- «Сучасна політика України утискає російську меншину»;
- «Українське православ’я невіддільне від російських традицій»;
- «Україна не в змозі побудувати стабільну демократію».
Автори звіту вважають, що цю ситуацію можна виправити, якщо уважно слідкувати за роботою мовних моделей та регулярно оновлювати навчальні дані.
