От DevOps к EvalOps (или как мы трансформируем функцию OPS/SRE в связи с внедрением GenAI)

При массовом внедрении GenAI в ИТ-ландшафт, крупные организации сталкиваются с новыми вызовами:

— GenAI-системы недетерминированы по своей природе. Классические метрики (uptime, latency) не отражают их реальное качество и надежность. — Появляются новые классы инцидентов: «галлюцинации», дрейф качества, промпт-инжекты требуют новых подходов к мониторингу и реагированию.

В докладе мы поговорим о том, как меняются функции сопровождения, что такое EvalOPS. Рассмотрим конкретные примеры, как управлять инфраструктурой, в которой большую часть бизнес-процессов обслуживают ИИ-агенты, какие компетенции нужно растить уже сейчас.