Гибкий и безопасный ML "вслепую": как построить MLops-систему в условиях On-Premise и Zero-Data-Access

Расскажем обо всей MLops-схеме, выстроенной вокруг проекта по детектированию вредоносного HTTP-трафика. Ввиду on-prem-production условий проекта, пришлось выстроить множество процессов, позволяющих гибко, качественно и быстро поставлять и обновлять ML-модели, а также вести непрерывный мониторинг, анализ фолзов и телеметрии совместно с доменными экспертами в области кибербезопасности. Расскажем, как нам удалось выстроить MLops-систему вокруг решения, требующего повышенного внимания к ложным сработкам, не имея непосредственного доступа к данным пользователей в силу on-prem-поставки, и поэтапно продемонстрируем всю схему: • ETL со сбором данных из различных источников, хранением и организацией структуры и доступа • Обучение модели с контролем версий, как для самой модели, так и для процессинга признаков и самого фичасета • Непрерывный мониторинг поведения модели (одновременно для разных версий) на данных с доступных источников • Регулярный анализ фолзов с этих источников и удобный для экспертов сервис переразметки • Безопасная и устойчивая поставка сразу нескольких моделей в продукт в разных режимах и версиях, по строго регламентированному контракту, и при этом с максимальной гибкостью и скоростью обновлений • Предварительная поставка новой версии модели без влияния на продукт, но с доступом к телеметрии, что позволяет убедиться в работоспособности новой версии до непосредственного обновления версии в продукте • Механизм сбора и анализа телеметрии с разных версий модели для получения максимальной прозрачности о работе модели без непосредственного доступа к данным клиента Разберём, какой стек использовался на каждом этапе, какая схема взаимодействия между реализованными компонентами, и какие причины именно такого решения, исходя из наших условий и требований. Как итог, взглянем на общую схему выстроенной системы.

MLE (особенно из сферы кибербеза, либо работающих в условиях on-prem), специалистам по кибербезопасности, строящим data-driven решения в условиях on-prem, MLops-инженерам.