Візуально-текстові завдання виявилися найбільш складними для штучного інтелекту.
Попри те, що технології штучного інтелекту вже давно випереджають людей в обробці інформації та точності розрахунків, їх логічне мислення і аналітичні здібності залишаються на низькому рівні. Як виявилося, ChatGPT та інші відомі моделі ШІ не справилися з українським ЗНО.
Згідно з інформацією з Dev.ua, українська команда дослідників розробила ZNOVision – перший тест для штучного інтелекту, який перевіряє знання з 13 предметів ЗНО українською мовою. У тестуванні брали участь шість потужних мовних моделей, серед яких OpenAI, Google та Claude.
Цей бенчмарк містить понад 4300 запитань, охоплюючи 12 академічних предметів, таких як математика, фізика, хімія та гуманітарні науки. Більше половини запитань мають візуальний елемент – діаграми, схеми, малюнки. Частина запитань вимагає логічного міркування, тоді як інша частина потребує точної інтерпретації українською мовою.
Результати тестування показали, що штучний інтелект не зміг набрати 70% правильних відповідей. Найвищий бал (67,5%) отримала модель Gemini Pro, а Claude 3.5 – 64,3%, тоді як GPT-4o показав лише 47%. Для порівняння, вибіркове запам’ятовування дало б близько 22%.
На думку дослідників, найбільшою складністю для ШІ стали візуально-текстові завдання: моделі не вміли розпізнавати українські слова на картинках, плутали одиниці виміру та ігнорували частину запитів.
У спеціальному наборі VQAUA (візуальні запитання українською) результати виявилися ще гіршими: Claude показав 26,7%, а GPT-4o – 29%. Це значно нижче за середні показники для англомовних аналогів, які становлять понад 60%, що підкреслює недостатню підтримку української мови в контексті мультимодальних систем.
Також варто зазначити, що нещодавно компанія Ілона Маска xAI презентувала четверту версію чат-бота Grok. Сам Маск стверджує, що це “найбільш розумний ШІ в історії”, який “прагне шукати істину”.
Цього літа OpenAI планує випустити нову модель ШІ, яку буде важко відрізнити від людини. GPT-5 об’єднає найкращі досягнення попередніх моделей.
