Авторы исследования ― представители сообщества разработчиков и пользователей открытого научного кода в Университете ИТМО.

Мы создаем и продвигаем свои открытые решения, проводим профильные мероприятия, предоставляем полезные материалы — и помогаем делать это другим. В составе сообщества около 1000 участников.

Большинство из них уже в нашем телеграм-чате — в нем можно связаться с нами и задать любые вопросы по исследованию.

Кто мы?

Авторы исследования ― сотрудники центра «Сильный ИИ в промышленности» ИТМО. У нас большой опыт создания ПО с открытым кодом в сферах ИИ/ML/DS и его применения в реальных проектах. При участии команды центра в университете сформировалось крупнейшее в России академическое опенсорс-сообщество. Поэтому мы решили поделиться своим опытом и сделать «авторское» исследование. Вместе с тем, в его основе — мнения топовых экспертов и количественные метрики.

Несмотря на широкое использование опенсорс-решений в Data/ML в целом, многие специалисты знакомы только с привычным для их области стеком. Мы решили сделать консолидированный обзор используемых решений в различным категориях, с помощью которого можно сориентироваться в основных инструментах.

ИИ меняет правила в опенсорсе: новые инструменты позволяют создавать решения быстрее и дешевле — это трансформирует существующие практики. Поэтому мы не только поговорили с экспертами о текущем положении дел, но попробовали сформировать прогноз развития области на ближайшие пару лет.

В первой части исследования приняли участие эксперты из разных компаний и университетов ― Яндекса, Сбера, Т-Банка, VK, Wildberries, Rocket Control, CodeScoring и МФТИ. О чем мы их спрашивали?

О компаниях лидерах.

Какие проекты они используют сами?

О проблемах и историях успеха.

Что есть и чего не хватает?

Про актуальное состояние и перспективы опенсорса в эпоху ИИ.

1

2

3

4

5

Начинающим пользователям ML/Data-решений, которые хотят узнать о используемых на практике инструментах.

Авторам собственных открытых проектов, которые ищут лучшие практики их популяризации.

Опытным и начинающим контрибьюторам в опенсорс, которые ищут информацию об интересных проектах для участия.

Опенсорс-энтузиастам, которые хотят иметь представление о структуре опенсорс-сообщества.

Среди них можно выделить реализации конкретных моделей машинного обучения (например, SciKit Learn) или фреймворки для «сборки» своих моделей ― например, PyTorch и Tensorflow в случае нейронных сетей. AutoML-решения применяют не так широко, но про сами инструменты (например, проект LightAutoML) многие знают.

Используемый в России опенсорс

Используют, как правило, хорошо себя зарекомендовавшие numpy и SciPy. Для часто встречающейся постановки задач оптимизации ― настройки гиперпараметров ― обычно применяют optuna.

Область математического обеспечения довольно консервативна

В ML-инструментарии почти все используемые решения — опенсорсные

Индустриальный стэк в DS/ML уже сформировался — он довольно стандартный

Где-то для обработки данных хватает Pandas, а где-то необходимо обратиться к Spark или ytsaurus. Схожая ситуация с хранением данных ― широко использует ClickHouse, но и другие базы данных находят активное применения в стеке различных компаний.

Используемые инфраструктурные решения сильно зависят от конкретных приложений

Это открытые библиотеки и фреймворки от разных создателей, которые используют по всему миру ― все знают про CatBoost и Clickhouse, про PyTorch и Hadoop. В компаниях же активно используют также «самописные» закрытые решения и форки открытых проектов.

Визуализация данных обычно обсуждается мало, хотя и там активно применяются открытые решения ― например, DataLens.

С LLMOps далеко не все пользователи и компании успели познакомиться на практике. Безусловный лидер здесь ― LangChain, однако появление новых подходов (например, агентных LLM) и новых моделей требует создания новых инструментов, которые в подавляющем большинстве случаев — опенсорсные.

Если MLOps ― достаточно сложившаяся область и стандартный инструментарий для нее уже сформировался, то сфера LLMOps сейчас бурно развивается