Під час великої трансляції GPT-5 у четвер, OpenAI представила кілька графіків, які вражали своїми показниками – але при детальному розгляді деякі з них виявилися неточними.
На одному з графіків, іронічно демонструючи результати оцінювання “обману” серед моделей, шкала виглядала хаотично. Наприклад, в категорії “обман при кодуванні” графік на сцені показує, що GPT-5 з мисленням має 50.0% рівень обману, проте це порівнюється з меншим показником о3 від OpenAI, який становить 47.4% та чомусь має більшу колонку. У блозі OpenAI є точні дані для цього графіка, де рівень обману GPT-5 вказаний як 16.5%.
З цього графіка OpenAI продемонструвала, що один з балів GPT-5 є нижчим за o3, але він зображений з більшою колонкою. У цьому ж графіку результати o3 та GPT-4o відрізняються, але подані колонками однакового розміру. Це було настільки помітно, що генеральний директор Сем Алтман прокоментував це, назвавши “глітчем на графіку”, хоча він зазначив, що коректна версія є в блозі OpenAI.
Співробітник маркетингового відділу OpenAI також вибачився, заявивши: “Ми виправили графік у блозі, вибачте за ненавмисну помилку з графіком.”
У п’ятницю, відповідаючи на запитання користувача Reddit щодо графіків, Алтман зазначив, що “дані тут були точними, але ми допустили помилки в графіках під час трансляції; також на іншому слайді ми погано подали цифри”. Він додав, що блог та картка системи є “точними” і зазначив, що “в людини, яка працювала пізно вночі, просто втомилася, і сталася людська помилка. Багато деталей потрібно зібрати разом для трансляції в останні години.”
Це все ще виглядає не дуже добре для компанії у день великого запуску – особливо коли вона заявляє про “значні досягнення у зменшенні галюцинацій” з новою моделлю.
