Згідно з новим дослідженням, спільно проведеним експертами Microsoft Research і Salesforce, популярні штучні інтелекти, що працюють в ролі чат-ботів, демонструють помітне погіршення якості відповідей після тривалих взаємодій з користувачами. Аналізуючи понад 200 тисяч розмов за участю флагманських мовних моделей, таких як GPT-4.1, Gemini 2.5 Pro та Claude 3.7 Sonnet, дослідники виявили, що рівень помилок у відповідях може зрости більше ніж удвічі.
За останні роки провідні технологічні компанії представили широкий спектр високоефективних великих мовних моделей, прагнучи зайняти лідерські позиції на ринку. Однак споживачі неодноразово скаржилися на неадекватність відповідей, відзначаючи явища, які отримали назву “галюцинації”. Нове наукове дослідження підтверджує, що навіть найсучасніші нейромережі часто “втрачаються” під час розмов, особливо коли йдеться про складні діалоги, що вимагають кількох реплік.
Що виявили дослідники
Експерти провели глибокий аналіз діалогів, виявивши, що, якщо в коротких запитах моделі можуть демонструвати точність більше 90%, то у випадку тривалих бесід їхню ефективність знижено до 65%. Це свідчить про те, що зі збільшенням контексту та складності діалогу якість відповідей ранжованих мовних моделей значно падає.
Крім того, дослідники зафіксували дивне явище “роздування відповідей”. Під час складних діалогів обсяг відповідей збільшувався на 20-300%, супроводжуючись зростанням кількості неточностей і галюцинацій. Навіть найсучасніші моделі, які використовують розширені механізми побудови відповідей, такі як OpenAI o3 і DeepSeek R1, не змогли уникнути таких ефектів.
Науковці зазначають, що зниження якості комунікації в тривалих розмовах не означає, що моделі стають “дурнішими”. Це свідчить про їхні обмеження в обробці та інтерпретації великого обсягу інформації під час діалогу. Незважаючи на це, ШІ все ще продовжує демонструвати вражаючу точність у відповідях на окремі запитання.
Ці особливості важливо враховувати при інтеграції чат-ботів у сервіси, які передбачають тривалу взаємодію з користувачами. Неправильні або нечіткі відповіді можуть ввести людей в оману, особливо якщо вони покладаються на ШІ як на джерело точної та критично важливої інформації.
Сьогодні ChatGPT контролює більше 80% світового ринку чат-ботів, на найближчих конкурентів, таких як Perplexity і Google Gemini, припадає лише 15% користувачів. Проте, згідно з попередніми повідомленнями, творці ChatGPT можуть стикнутися з серйозними фінансовими труднощами вже до середини 2027 року, оскільки багато користувачів воліють безкоштовні версії без переваги платного доступу.
