У середу компанія Irregular, що спеціалізується на безпеці в сфері штучного інтелекту, оголосила про залучення 80 мільйонів доларів у новому раунді фінансування, який очолили Sequoia Capital і Redpoint Ventures, за участі генерального директора Wiz Ассафа Раппапорта. За інформацією, близькою до угоди, вартість компанії Irregular становить 450 мільйонів доларів.
«На нашу думку, незабаром велика частина економічної активності буде відбуватися через взаємодію між людьми та штучним інтелектом, а також між самими системами штучного інтелекту», — зазначив співзасновник Дан Лахав. «Це створить проблеми для безпеки на багатьох рівнях».
Компанія, яка раніше носила назву Pattern Labs, вже займає серйозну позицію на ринку оцінок штучного інтелекту. Її напрацювання згадуються в оцінках безпеки для моделей Claude 3.7 Sonnet, а також для моделей o3 і o4-mini від OpenAI. Але суттєвою частиною роботи компанії є система оцінки вразливостей моделей (названа SOLVE), яка користується популярністю в галузі.
Хоча Irregular вже зробила значний внесок у вивчення ризиків, пов’язаних із існуючими моделями, компанія планує нове фінансування з метою виявлення нових ризиків і поведінки до їх появи в реальному світі. Вони створили складну систему симульованих середовищ, що дозволяє інтенсивно тестувати модель перед її виходом на ринок.
«У нас є складні симуляції мереж, де штучний інтелект виконує роль як атакуючого, так і захисника», — говорить співзасновник Омер Нево. «Коли з’являється нова модель, ми можемо оцінити, де захист спрацьовує, а де немає».
Безпека стала пріоритетною темою для індустрії штучного інтелекту через зростання ризиків. Цього літа OpenAI переглянула свої внутрішні заходи безпеки з урахуванням можливого корпоративного шпіонажу.
В той же час моделі штучного інтелекту стають все більш розвиненими у виявленні вразливостей програмного забезпечення — ця здатність має серйозні наслідки як для атакуючих, так і для захисників.
Для засновників Irregular це лише початок багатьох викликів у сфері безпеки, викликаних зростаючими можливостями великих мовних моделей.
«Якщо мета дослідницької лабораторії полягає в створенні все більш складних і потужних моделей, то наша мета полягає в забезпеченні безпеки цих моделей», — зазначає Лахав. «Але це постійно змінюється, тому роботи на майбутнє залишається ще дуже багато».
