Машинное обучение обещает компаниям автоматизацию и снижение затрат, но реальные бюджеты часто оказываются выше запланированных.
Айканыш Орозбаева, директор по развитию бизнеса Embedika, рассказала, о том, из чего складывается стоимость ML-проектов и что нужно предусмотреть, чтобы избежать перерасхода.
Ниже приводим текст оригинальной публикации.
Почему компании выбирают машинное обучение
На российском рынке машинное обучение чаще всего внедряют крупные компании — банки, телеком-операторы, торговые сети, производственные холдинги. По данным Radensa, около 35% российских промышленных предприятий уже используют ML и искусственный интеллект для автоматизации производственных и управленческих процессов. Еще 25% находятся на разных стадиях внедрения.
Одна из основных причин интереса к машинному обучению — возможность повысить операционную эффективность. Методы ML, такие как предиктивная аналитика, помогают бизнесу в разных сферах: от прогнозирования сбоев оборудования на производстве до оптимизации кадровых ресурсов в ретейле. Например, в промышленности ML-модели предсказывают износ станков, позволяя сократить простои, а в FMCG-секторе, как в случае с X5 Group, алгоритмы прогнозируют нагрузку на персонал, помогая эффективнее распределять сотрудников по сменам и сокращать издержки на управление рабочим временем.
В металлургической отрасли технологии машинного обучения также становятся частью производственного контура. Череповецкий металлургический комбинат использует предиктивное обслуживание прокатных станов, чтобы снижать незапланированные простои и повысить надежность оборудования. Группа НЛМК применяет прогнозирование концентрации алюминия в ванне горячего цинкования для стабилизации качества продукции. ПАО «Ашинский металлургический завод» внедрил автоматическое определение коэффициента усвояемости элементов.
Бизнес находит применение ML-технологий и в улучшении клиентского опыта. Чат-боты и голосовые помощники автоматизируют работу кол-центров, рекомендательные системы предлагают покупателям релевантные товары, а инструменты динамического ценообразования позволяют гибко управлять спросом. В телекоммуникационном секторе МТС применяет алгоритмы машинного обучения для анализа данных по тарифам. Такие модели помогают прогнозировать отток абонентов и предлагать персонализированные условия обслуживания.
С помощью ML компании решают задачи, связанные с созданием среды непрерывных улучшений и внедрением культуры управления инновациями. В крупных организациях алгоритмы постепенно встраиваются в работу аналитических и инженерных центров, юридических департаментов, HR-служб. Интеллектуальные сервисы помогают принимать решения на основе данных и поддерживают развитие новых цифровых сервисов и бизнес-моделей.
Из чего складываются затраты на внедрение ML-решений
Несмотря на разнообразие сценариев применения машинного обучения, большинство проектов сталкивается с одинаковой проблемой — высокой стоимостью внедрения. Итоговые расходы складываются не только из оплаты лицензий или разработки модели. Значимая часть бюджета уходит на подготовку данных (очистку, разметку, формирование обучающих выборок) и само обучение моделей, которое требует значительных бюджетов из-за необходимости мощных вычислительных ресурсов и времени.
Даже базовые сценарии, такие как прогнозирование спроса или автоматизация обслуживания клиентов, требуют серьезной проработки архитектуры, настройки рабочих процессов, а иногда и перестройки подходов к работе с данными. Если на старте не учтены все этапы, проект рискует затянуться, а его стоимость — вырасти в полтора-два раза по сравнению с первоначальной оценкой.
Сложно назвать усредненную стоимость ML-проекта: итог зависит от задач, масштаба данных, степени автоматизации. В одних случаях модель обходится в сотни тысяч рублей для узких, невысокосложных моделей и небольших данных, а в других — в десятки миллионов для масштабных, комплексных решений с большими объемами данных и высокой долей автоматизации. Однако вне зависимости от бюджета, самый затратный этап — это работа с данными и обучение моделей. Кроме подготовки выборки, значительные ресурсы уходят на разработку бизнес-логики, которая связывает ML-модель с реальными задачами компании.
В последние годы появились инструменты, позволяющие частично снизить издержки — например, системы автоматической разметки. Они требуют первоначального обучения, но затем могут самостоятельно классифицировать оставшиеся данные. Также развиваются решения для автоматической валидации и проверки корректности работы моделей, что снижает нагрузку на команды и ускоряет итерации.
Для того чтобы лучше понять структуру затрат и спрогнозировать реалистичный бюджет, стоит рассмотреть ключевые этапы ML-проекта — от подготовки данных до поддержки и масштабирования системы в проде.
Подготовка данных: сбор, очистка, разметка
Любой проект начинается с анализа исходных данных. Если в компании уже налажены процессы сбора информации, этап подготовки обходится дешевле. Но чаще всего данные хранятся в разных системах, содержат ошибки и требуют очистки. Команда изучает, какие бизнес-задачи стоят перед моделью, какие данные уже есть, чего не хватает и в каком состоянии находятся источники. Это может быть как структура заказов, так и тексты заявок, сканы документов, лог-файлы. Только после этого формируется выборка: данные очищают, приводят к нужному формату и извлекают из них признаки, на которых будет учиться модель.
Следующий этап — разметка, ключевой этап подготовки данных для обучения моделей. Если алгоритм работает по принципу обучения с учителем, команде нужно задать для каждого элемента выборки правильные ответы — так называемые метки. Например, пометить тип дефекта на фотографии изделия, классифицировать тему обращения, оценить тональность текста или наличие отклонений в показаниях датчиков. Прежде чем приступить к этой работе, специалисты формируют схему разметки, разрабатывают подробные инструкции для разметчиков и согласовывают критерии оценки с экспертами предметной области. Это трудоемкий процесс. Даже при привлечении подрядчиков часть задач по-прежнему ложится на валидацию разметки экспертами. Чем больше и сложнее выборка, тем больше ресурсов потребуется на ее подготовку.
Разработка и обучение моделей
После подготовки данных команда переходит к разработке ML-решения. Здесь важно выбрать подход: адаптировать существующую open source-модель под задачи бизнеса или использовать полностью готовое «коробочное» решение. Разработка модели с нуля сегодня практически не встречается в прикладной практике — такие задачи под силу лишь техгигантам. Большинство компаний из среднего сегмента либо дообучают существующие архитектуры, либо обращаются к подрядчикам, которые делают это за них. Выбор подхода напрямую влияет на структуру затрат. При использовании дообучаемых решений снижается нагрузка на команду, упрощается инфраструктура и ускоряется запуск. Но если задача нестандартная и необходима высокая точность, проект может потребовать значительной кастомизации и, соответственно, больше ресурсов.
Существенную часть бюджета составляют вычислительные ресурсы. Обучение моделей происходит на мощных серверах или в облаке. Несмотря на развитие аппаратного обеспечения, заметен тренд на компактные и менее ресурсоемкие модели — они дешевле в обслуживании и лучше подходят для быстрого масштабирования. При этом в проектах с длинными циклами обучения и тестирования затраты на инфраструктуру существенно возрастают. После первой итерации модель проверяют на корректность работы, эффективность и точность, при необходимости корректируют архитектуру или дообучают.
Интеграция и адаптация в инфраструктуру
Даже после успешного обучения модель не готова к эксплуатации. Ее нужно встроить в ИT-ландшафт компании — обеспечить взаимодействие с внутренними системами, сервисами хранения данных, инструментами аналитики и бизнес-приложениями. При этом нередко приходится создавать API, настраивать отказоустойчивость и обеспечивать соблюдение требований к информационной безопасности.
Этот этап часто становится самым непрозрачным: точный объем работ и стоимость становятся понятны только после пилотного запуска. Особенно много ресурсов требует масштабирование инфраструктуры при росте количества данных.
Поддержка и переобучение
После внедрения проект не заканчивается. Алгоритмы нуждаются в регулярном контроле качества. Даже если модель изначально работает точно, со временем могут меняться входные данные, процессы в компании или бизнес-логика. Это приводит к так называемому дрейфу данных — снижению качества прогнозов. Чтобы сохранить точность модели, ее приходится переобучать, обновлять архитектуру или включать новые источники данных.
Частота переобучения зависит не от времени, а от изменений в среде: если добавились новые категории, изменился пользовательский путь или появились новые данные, модель нужно адаптировать. В противном случае — в переобучении нет необходимости.
Для отслеживания качества моделей компании используют встроенные решения вендоров или развивают собственные системы мониторинга. Такие инструменты отслеживают отклонения ключевых метрик, сигнализируют об ухудшении точности и помогают вовремя реагировать. Однако даже при наличии автоматических решений оценка причин и корректировка модели требуют участия специалистов.
Еще один важный аспект — соблюдение регуляторных требований. В некоторых отраслях, например, в финансовом и госсекторе, предъявляются особые требования к хранению и обработке персональных данных. Иногда может понадобиться переработка архитектуры решения, особенно если изменяется технологический стек или нужно выполнить требования по импортозамещению.
Таким образом, поддержка ML-решений превращается в непрерывную задачу с распределенной зоной ответственности. Часть функций остается на стороне вендора, но все больше компаний берут контроль на себя. Это означает, что в бюджете необходимо закладывать ресурсы не только на сопровождение, но и на экспертизу: как минимум нескольких специалистов по Data Science в зависимости от масштаба системы и количества сервисов, которые смогут отслеживать качество, адаптировать модель и управлять изменениями. Затраты на поддержку могут быть сопоставимы с этапом разработки — особенно в быстро меняющейся среде.
Как компании могут сократить расходы
Для того чтобы контролировать бюджет ML-проекта и избежать необоснованных расходов, важно с самого начала определить стратегию разработки и эксплуатации.
Один из основных способов сэкономить — запуск минимально жизнеспособного продукта (MVP). Такой формат помогает проверить гипотезу и оценить экономический эффект без долгих согласований и масштабных инвестиций. Если модель показывает устойчивый результат, проект масштабируется и дорабатывается. Если нет — компания вовремя завершает эксперимент.
При подготовке данных стоит уделять внимание не только объему, но и репрезентативности выборки. Чем точнее данные отражают реальные сценарии использования модели, тем меньше риск, что после запуска решение даст непредсказуемый результат. Важно заранее предусмотреть участие отраслевых экспертов в разметке — только они понимают особенности предметной области. Чтобы дополнительно снизить расходы, компании используют активное обучение и слабый надзор: эти подходы позволяют автоматически выбирать наиболее информативные примеры для разметки и существенно экономят время специалистов. Автоматизация пайплайнов предобработки и feature engineering помогает быстрее переходить к этапу обучения.
При разработке решений важен правильный выбор подхода. Если задача типовая, эффективнее дообучить существующую модель под свои данные. Такой метод значительно сокращает срок запуска и уменьшает потребность в ресурсах на обучение с нуля. Кастомная разработка целесообразна только в ситуациях, когда типовые решения не покрывают требования бизнеса.
В инфраструктуре ключевым способом оптимизации остается комбинирование облачных сервисов и edge-вычислений. Чтобы контролировать затраты, компании используют spot-инстансы и автоскейлинг, которые помогают масштабировать мощности по мере необходимости. Такой подход особенно полезен, когда нагрузка нестабильна и сложно заранее прогнозировать объем вычислений. Для крупных проектов привлечение опытного DevOps-специалиста дает дополнительный эффект: он помогает выстроить инфраструктуру так, чтобы избежать необоснованных расходов и обеспечить отказоустойчивость.
Наконец, важно уделять внимание управлению проектом. Гибкая методология с короткими итерациями и регулярной фиксацией результатов помогает вовремя замечать точки перерасхода. Такой формат работы позволяет быстрее принимать решения о корректировке плана. Приоритизация по окупаемости предоставляет возможность сфокусироваться на задачах, которые быстрее возвращают инвестиции. Например, запуск чат-ботов или интеллектуальных кол-центров дает эффект в краткосрочной перспективе, тогда как сложные прогнозные модели окупаются дольше.
Будущее ML: меньше кода, больше экспертизы
Стоимость внедрения машинного обучения складывается не только из разработки модели. Существенную часть бюджета составляют подготовка и разметка данных, интеграция решения в инфраструктуру компании и последующее сопровождение. Эти этапы редко видны на старте проекта, но именно они определяют, насколько система будет эффективной и окупаемой.
Перед запуском ML-инициатив важно провести аудит процессов, оценить зрелость внутренних данных, определить, какие ресурсы потребуются на каждом этапе, и сформировать реалистичный план затрат. Такой подход помогает избежать ситуации, когда проект превращается в бесконечный эксперимент без понятного эффекта.
На рынке уже появляются no-code- и low-code-платформы, которые позволяют быстрее собирать прототипы и проверять гипотезы без масштабной разработки. Эти платформы действительно снижают порог входа: с их помощью можно проверять гипотезы и запускать пилоты без масштабной кастомной разработки. Но сами по себе такие инструменты не решают ключевых проблем — качества данных, архитектуры и оценки эффективности. Без экспертизы в Data Science, четкого понимания задач и вовлеченной команды такие проекты редко приносят бизнесу ощутимую пользу.
Отдельный тренд — использование ИИ-ассистентов. Изначально они применялись в пользовательских интерфейсах, но сегодня такие инструменты все чаще становятся помощниками для аналитиков, разработчиков и продуктовых команд. Они ускоряют поиск информации, выявляют ошибки, подсказывают варианты улучшения модели. Это сокращает время на итерации и может снизить стоимость проекта за счет повышения эффективности команды.
Однако вместе с ростом внедрения ML и ИИ растет и важность этических вопросов. Решения, принимаемые на основе алгоритмов, влияют на реальных людей, поэтому ответственность за них остается на человеке. Главная задача ML-систем — не заменять эксперта, а предоставлять ему корректную, прозрачную и интерпретируемую информацию для принятия решений. Это особенно важно в сферах, связанных с рисками, персональными данными или социальной значимостью решений.
Компании, которые рассматривают машинное обучение не как модный тренд, а как инструмент решения конкретных задач, получают ощутимые результаты и могут выстраивать прогнозируемую экономику проекта. В этом процессе экспертиза, зрелое управление и грамотная стратегия важнее, чем выбор самой модели. ИИ способен повысить эффективность, но только если он встроен в бизнес-процессы осознанно и с пониманием его ограничений.
