Варіанти навчання штучного інтелекту: новий посібник від Мінцифри для бізнесу

Варіанти навчання штучного інтелекту: новий посібник від Мінцифри для бізнесу

Міністерство цифрової трансформації України представило документ, що містить 59 сторінок рекомендацій для розробників продуктів із використанням штучного інтелекту. У процесі його створення брали участь 15 фахівців у галузі права та технологій ШІ.

Цей документ призначений для української ІТ-спільноти, яка вже працює з LLM, ML-моделями або тільки планує впровадження генеративного ШІ у свої продукти. Інформація про це міститься в пресрелізі Мінцифри.

Рекомендації спрямовані на допомогу розробникам у створенні безпечних, прозорих та етично обґрунтованих рішень. Документ надає поради щодо уникнення упередженості в результатах, вибору даних для навчання моделей та дотримання європейських норм у сфері ШІ.

Дані для навчання

Розробникам настійно рекомендується уважно перевіряти джерела даних, з якими вони працюють. Окрема увага в рекомендаціях приділяється якості датасетів для машинного навчання. Перед використанням набору даних для навчання моделі необхідно впевнитися, що він легально доступний, збалансований і анонімізований. Важливо також створювати супутні метадані, які містять інформацію про джерело, структуру та умови використання даних.

Недотримання цих вимог може призвести до помилок у моделях; наприклад, класифікатори можуть видавати неправильні результати, а генеративні моделі — з’являтися з “галюцинаціями” або упередженими відповідями, що може дискримінувати певні групи населення.

Щоб уникнути проблем із якістю даних, у документі згадуються популярні інструменти для виявлення аномалій, таких як бібліотеки Python (Seaborn, Pandas Profiling), Microsoft Azure, Amazon AWS і Google Cloud.

Як навчати моделі

Другий розділ рекомендацій присвячений правильному процесу навчання моделей машинного навчання. Виділяють три основних типи навчання:

  • Навчання з учителем — модель тренується на розмічених даних, де є чітке співвідношення між вхідними та вихідними значеннями, що підходить для завдань класифікації або розпізнавання.
  • Навчання без учителя — дані не мають міток, і модель самостійно шукає закономірності, використовуючи це для кластеризації та виявлення аномалій.
  • Навчання з підкріпленням — модель отримує винагороду або покарання в процесі взаємодії з середовищем, що ефективно у сценаріях з серією рішень, наприклад, у робототехніці або іграх.

У випадку великих мовних моделей, таких як ChatGPT, зазвичай комбінують ці підходи. Спочатку модель вчать без учителя для вивчення основних закономірностей мови, а потім переходять до навчання з підкріпленням на основі відгуків від людей.

Також надається пояснення щодо використання тонкого налаштування моделей для адаптації до конкретної термінології або стилю, що вимагає наявності якісного набору даних у форматі “запит-відповідь”. Проте варто враховувати, що моделі з тонким налаштуванням можуть бути дорожчими у використанні.

Як обрати велику мовну модель

Експерти радять розробникам враховувати не тільки розмір і швидкість моделей, але й менш очевидні фактори, такі як якість тренувальних даних, контекстне вікно, тип моделі та прозорість API.

Документ зазначає, що більшість моделей навчається на основі відкритих даних в Інтернеті, які не завжди є надійними. Джерела зазвичай не оприлюднюються, що може призводити до дезінформації та упередженості результатів.

Розробникам рекомендується звертати увагу на:

  • Контекстне вікно — скільки токенів модель “пам’ятає” одночасно. Обмежене вікно може призвести до втрати важливих деталей у довгих діалогах.
  • Кількість параметрів — чим більше параметрів, тим вища потужність, але це не завжди гарантує кращу якість; важливими можуть бути архітектура та методи навчання.

Моделі умовно поділяються на три типи:

  • Стандартні — універсальні, наприклад, GPT-4.
  • Змірковані — краще справляються з складними логічними задачами.
  • Гібридні — поєднують швидкість з дедуктивними здібностями.

Для оцінки моделей доцільно використовувати бенчмарки, такі як Chatbot Arena, Hugging Face, MLPerf та інші платформи для тестування, які дозволяють експериментувати з параметрами моделі.

Необхідно також звернути увагу на тип інтерфейсу доступу, політику конфіденційності та умови використання.

Про права людини

У рекомендаціях визначено ключові ризики, які можуть виникнути на різних етапах розробки та впровадження ШІ, зокрема, коли алгоритми можуть зашкодити людям. Наприклад:

  • У медичних системах помилка може загрожувати життю.
  • В HR-системах — підвищити ризик дискримінації.
  • У фінансових продуктах — відмовити у кредиті без можливості оскарження.
  • У модерації контенту — неправомірно цензурувати висловлювання.

Моделі можуть також втручатися у свободу думки, релігії, право на власність, соціальні послуги та участь у культурному житті. Для уникнення подібних ситуацій розробникам рекомендується використовувати інструмент HUDERIA, розроблений Радою Європи, який допомагає оцінювати AI-продукти відповідно до прав людини та міжнародних стандартів. Методологія включає створення плану для зменшення ризиків.

Залучення зацікавлених сторін також є важливим, оскільки це можуть бути представники груп, яких торкнеться система.

Інше

Наступні блоки присвячені авторському праву, обробці персональних даних та антимонопольним ризикам:

  • Авторське право описує, як працювати з тренувальними даними й згенерованим контентом без порушення прав інших осіб, пояснюючи, які дані можна використовувати і як.
  • Персональні дані зосереджені на відповідальному обробленні чутливої інформації користувачів, включаючи правові підстави та вимоги для захисту даних.
  • Антимонопольні ризики звертають увагу на технологічну залежність від великих постачальників ШІ-рішень, що може створювати ризики для розробників, які можуть зіштовхнутися з недоступністю ресурсів або зміною правил гри.

Детальну інформацію про кожен з цих блоків можна знайти у зазначених рекомендаціях.

Україна також приєдналася до Рамкової конвенції Ради Європи про штучний інтелект та права людини, що закладе основи для майбутнього законодавства в цій сфері.