Причина криється в навчальних системах та оцінюваннях, які заохочують ризиковані відповіді замість чесного визнання невизначеності.
OpenAI опублікувала результати масштабного дослідження, в якому аналізує, чому великі мовні моделі штучного інтелекту, такі як GPT-5, продовжують демонструвати галюцинації та чи можливо вирішити цю проблему.
Автори порівнюють поведінку нейромереж зі студентами під час іспиту: якщо відповідь “не знаю” не приносить жодних балів, то краще ризикнути і дати будь-яку відповідь. Такий підхід заохочує галюцинації, оскільки існує невелика ймовірність, що ШІ вгадає правильну відповідь.
На їхню думку, причина криється в самій системі оцінювання. Відомі бенчмарки, такі як MMLU та SWE-bench, працюють за бінарним принципом “правильно/неправильно”. Це змушує моделі вгадувати, а не визнавати свою невпевненість. Це відображено в таблиці нижче:
Несмотря на те, що у моделі GPT-5-Thinking-mini помітно менше помилок, за метрикою точності вона дещо відстає від попередньої o4-mini, і в тестах, що базуються лише на точності, результат виявляється гіршим.
Як зазначає OpenAI: “Після тисячі тестових запитів модель, яка вгадує, здебільшого має кращі результати в рейтингу, ніж модель, яка визнає невизначеність”.
OpenAI пропонує переглянути систему оцінювання: за свідоме надання неправдивої інформації накладати більші штрафи, ніж за чесне “я не знаю”, а також нараховувати часткові бали за адекватне вираження невизначеності. Автори вважають, що така зміна стимулів допоможе зменшити схильність до вгадування.
У компанії також зазначили, що вдалося суттєво знизити кількість галюцинацій у GPT-5, хоча модель все ще має недоліки. Раніше користувачі піднімали питання про те, що відповіді штучного інтелекту стали коротшими та менш задовільними, навіть на запити про творчі завдання.
Згідно з новим дослідженням, ChatGPT та інші популярні чат-боти стали вдвічі більше брати на себе ризик надання неправдивої інформації. Зростання помилок пов’язують із тим, що нейромережі більше не відмовляються відповідати на запитання, навіть якщо це стосується недостатньої верифікації даних.
