Компанія Kyivstar Tech оголосила про початок набору фахівців для роботи над створенням національної великої мовної моделі (LLM). Наразі на платформі DOU доступні шість вакансій.
Обов’язки:
- Розробка та підтримка ETL/ELT-пайплайнів для збору, обробки та зберігання великих обсягів текстових даних.
- Впровадження веб-скрейпінгу та збору даних з метою автоматизації отримання текстової і лінгвістичної інформації з вебу та зовнішніх джерел.
- Виконання специфічної обробки даних для NLP/LLM: очищення, нормалізація тексту, фільтрація неналежного контенту, видалення дублікатів, захист персональних даних.
- Формування спеціалізованих датасетів SFT/RLHF з уже наявних даних, зокрема через їх підсилення та маркування за допомогою LLM.
- Налаштування та управління хмарною інфраструктурою даних проекту (data lakes, warehouses) та фреймворками обробки (AWS/GCP/Azure).
- Автоматизація робочих процесів обробки даних для забезпечення їх масштабованості та надійності, наприклад, з використанням Apache Airflow.
- Підтримка та оптимізація аналітичних баз даних та сховищ для ad-hoc аналізу та навчання моделей.
- Співпраця з Data Scientists та NLP Engineers для створення наборів даних для моделей машинного навчання.
- Впровадження контролю якості даних, моніторингу, сповіщень та версіонування даних.
- Управління безпекою даних, контролем доступу та дотриманням політик конфіденційності.
Вимоги:
- Понад 3 роки досвіду на посаді Data Engineer або в аналогічній ролі, пов’язаній з розробкою пайплайнів для обробки даних.
- Досвід роботи зі лінгвістичними даними або підтримки NLP-проектів, зокрема нормалізація текстів, токенізація, знання підходів, схожих на FineWeb2.
- Практичний досвід у створенні ETL/ELT-процесів та використанні фреймворків оркестрації, таких як Apache Airflow.
- Впевнене володіння Python для обробки даних та розвитку пайплайнів, досвід роботи з NLP-бібліотеками (spaCy, NLTK тощо) та SQL.
- Знання реляційних баз даних (PostgreSQL, MySQL) та ознайомлення з NoSQL та технологіями Big Data (HDFS, Hive, Spark).
- Досвід роботи з хмарними платформами (AWS, GCP або Azure) для зберігання та обробки даних.
- Знання практик забезпечення якості даних, досвід впровадження моніторингу для пайплайнів.
- Способи тісної співпраці з data scientists та розуміння вимог ML-проектів; добрі комунікативні навички.
Додаткові переваги:
- Досвід у фреймворках розподіленої обробки даних (Apache Spark, Databricks) та системах потокової передачі (Kafka, Pub/Sub).
- Глибокі знання веб-скрейпінгу з використанням Scrapy, Selenium або Beautiful Soup.
- Знання в CI/CD для інженерії даних (GitHub Actions, Jenkins), досвід роботи з Docker та Kubernetes.
- Досвід взаємодії з аналітичними платформами та BI-інструментами (Tableau, Looker).
- Здатність вирішувати складні інженерні проблеми з даними та оптимізувати наявні пайплайни.
Kyivstar Tech пропонує роботу як в офісі у Києві, так і віддалено. Переваги включають бонуси за результатами роботи, медичне страхування, wellness-програми та корпоративного психолога. Також буде компенсовано мобільний зв’язок від Kyivstar та надано доступ до навчальних матеріалів, тренінгів і партнерських програм.
Контекст
У червні Міністерство цифрової трансформації та компанія Kyivstar оголосили про партнерство, метою якого є створення української великої мовної моделі (LLM). Цей проект передбачає розробку цифрових продуктів із використанням штучного інтелекту для держави та бізнесу.
За планом, Міністерство відповідає за координацію, збір даних з відкритих джерел та формування експертних груп, які працюватимуть над технічними, етичними та мовознавчими стандартами. Водночас Kyivstar забезпечить фінансування проекту, технічну інфраструктуру та створить проектний офіс для розробки моделі.
Першу версію української LLM планують представити до кінця 2025 року. Для цього Kyivstar Tech відкриває ключові вакансії для фахівців у сферах AI, NLP та MLOps.
Розроблена модель стане основою для нових цифрових державних сервісів, таких як ШІ-помічник у додатку «Дія» та освітні інструменти платформи «Мрія», і згодом буде доступна у форматі відкритого коду.
