NVIDIA представила свою нову мультимодальну модель NVLM-D-72B, яка здатна працювати з текстом і зображеннями. Вона є частиною сімейства NVLM і обіцяє стати потужним інструментом для розробників завдяки відкритому вихідному коду.
Основні характеристики NVLM-D-72B
- Мультимодальність: модель здатна одночасно обробляти як текст, так і зображення, що дозволяє застосовувати її в різних галузях.
- 72 мільярди параметрів: розмір моделі робить її надзвичайно точною та ефективною в задачах на розпізнавання зображень і тексту.
- Відкритий вихідний код: NVIDIA планує опублікувати модель у відкритий доступ, дозволяючи стороннім розробникам використовувати її для власних проєктів.
Порівняння з іншими моделями
NVLM-D-72B демонструє високу ефективність у порівнянні з іншими великими мовними моделями:
- Llama 3-V 405B: NVLM-D-72B прямо згадується як конкурент цієї відкритої моделі.
- GPT-4o: модель від NVIDIA перевершила GPT-4o у бенчмарку OCRBench, який оцінює здатність нейромереж розпізнавати текст.
- Llama 3-V70B: NVLM-D-72B також показала кращі результати в тесті на розуміння природних зображень VQAv2.
Приклади запитів до NVLM-D-72B
Компанія NVIDIA наводить кілька можливих сценаріїв використання моделі:
- Розпізнавання дорожніх знаків: модель може проаналізувати зображення багатосмугової дороги та запропонувати, якою смугою їхати.
- Перетворення псевдокоду в програмний код: можна дати рукописну нотатку з псевдокодом, і модель перекладе її в повноцінний програмний код.
- Пояснення мемів: NVLM-D-72B здатна пояснити суть мемів на зображеннях або інтерпретувати інші складні візуальні концепції.
- Розв’язання математичних задач: модель може вирішувати рівняння на основі зображень або текстових даних.
NVLM-D-72B від NVIDIA – це новий крок у розвитку мультимодальних моделей. Відкритий вихідний код дає можливість розробникам інтегрувати її в свої проєкти, забезпечуючи вищу якість обробки текстових і візуальних даних. Технічні подробиці можна знайти в документації до моделі, яку компанія планує незабаром опублікувати.
