Використання великої кількості популярного, але малоефективного контенту впливає на якість мовних моделей, що може призводити до їх “тупіння”.
Науковці з Техаського університету в Остіні, Техаського університету A&M та Університету Пердью дійшли висновку, що меми й низькоякісний контент негативно впливають не лише на людей, а й на штучний інтелект.
Вони вважають, що великі мовні моделі, які тренуються на великому обсязі популярних, але неякісних текстів, можуть почати демонструвати ознаки зниження інтелекту.
Вплив мемів на ШІ
Результати їхнього дослідження підтверджують подібні спостереження над людьми, які вживають велику кількість низькоякісного контенту в соціальних мережах. Це, в свою чергу, порушує їх когнітивні здібності. Ця проблема стала настільки поширеною, що в Оксфордському словнику 2024 року з’явився новий термін – “брейнрот”.
Дослідник Джуньюань Хонг, який працював над цим проектом в Техаському університеті, зазначив:
“Ми живемо в час, коли обсяг інформації перевищує можливості концентрації, причому багато з цієї інформації створюється для залучення уваги, а не для надання глибоких знань.”.
Хонг і його команда перевірили декілька видів текстів у двох відкритих мовних моделях, під час попереднього навчання, відстежуючи реакцію моделей на поєднання “гучних” публікацій та матеріалів з емоційно насиченими словами, такими як “вау”, “дивіться” або “тільки сьогодні”.
Для оцінки впливу “сміттєвої” інформаційної дієти на моделі Llama від Meta та Qwen від Alibaba вчені використали кілька контрольних показників.
Виявилося, що моделі, які тренувалися на неякісному контенті, почали менш ефективно виконувати логічні завдання, знизили пам’ять та демонстрували ознаки “штучного брейнроту”. Більше того, виявилося, що їх етичні стандарти знижуються, а деякі з них проявляли психопатичні риси, що було виявлено через два показники.
Науковці також встановили, що моделі, які піддалися негативному впливу великої кількості низькоякісних даних, важко відновити чи повторно тренувати. Вони зазначили, що системи на основі соціальних мереж, такі як Grok від xAI, можуть мати серйозні труднощі щодо контролю якості, якщо в навчанні використовуються неперевірені користувацькі пости.
Хонг підкреслив, що отримані результати мають принципову важливість для галузі ШІ. Розробники часто вважають пости з соціальних мереж корисними для навчання моделей, але насправді такі дані можуть не помітно заважати їхньою спроможності до міркування, етиці та усвідомленості контексту.
