Kaspersky MLAD использует 5 видов детекторов аномалий
Предиктивный детектор
Предиктивный детектор аномалий строится на основе нейронной сети, которая предсказывает текущие значения параметров объекта, после чего предсказание сравнивается с фактически наблюдаемым поведением. Детектор автоматически обучается по историческим данным телеметрии и выявляет аномалии «без подсказок» со стороны эксперта — в том числе и ранее неизвестные (никем не замеченные) аномалии.
Диагностические правила
Детектор на основе диагностических правил используется для выявления аномалий, симптомы которых заранее известны. Детектор отслеживает изменения в поведении объекта по заданным критериям. В диагностических правилах может быть реализована любая логика проверок. Наиболее популярные критерии (и их комбинации): устойчивое превышение порога, рост или падение показателя за период, ступенчатый скачок, «замирание» значений на одном уровне.
Анализатор сходства
Задача анализатора сходства — для каждой вновь выявленной аномалии найти похожие на нее аномалии, которые были обнаружены ранее. Таким образом, в процессе анализа и диагностики аномалий появляется возможность использования накопленной экспертизы.
Потоковый процессор
Потоковый процессор приводит данные телеметрии, поступающие от объекта мониторинга в реальном времени, к равно-интервальной временной сетке (РИВС), необходимой для работы предиктивных детекторов и диагностических правил. В процессе приведения данных к РИВС потоковый процессор выявляет и, по возможности, устраняет такие дефекты потока, как потерю данных, получение недостоверных значений, слишком раннее или слишком позднее прибытие наблюдений.
Процессор событий
В отличие от предиктивного детектора, который анализирует непрерывные временные ряды, процессор событий работает с последовательностями дискретных событий. Специального вида нейронная сеть анализирует поток событий, выявляя типовые паттерны. Аномалией в данном случае является необычная последовательность событий (например, действия персонала и/или серия аномалий, выявленных другими детекторами).
Kaspersky MLAD детектирует аномалии по инновационной запатентованной технологии с использованием машинного обучения
Предиктивный детектор анализирует параметры технологического процесса, которые представляют собой физические величины (давления, токи, уровни и т.п.) или состояния, изменяющиеся во времени.
Под аномалией понимается значительное отклонение реально наблюдаемых значений параметров технологического процесса от прогнозируемых.
- За основу прогноза берется совокупность уже поступивших значений технологических параметров за определенное время — окно входных данных.
- На основе окна входных данных нейронная сеть дает прогноз, какие значения должны принять технологические параметры на некотором определенном отрезке времени (окно прогноза) в определенном недалеком будущем (горизонт прогноза).
- По разнице между прогнозируемыми и реально наблюдаемыми значениями технологических параметров Kaspersky MLAD вычисляет индивидуальные ошибки прогноза для каждого технологического параметра.
- По совокупности индивидуальных ошибок Kaspersky MLAD вычисляет общую среднеквадратическую ошибку (MSE). При этом каждый технологический параметр входит в общую ошибку с весом, пропорциональным тому, как сильно изменения данного параметра влияют на другие.
- Аномалия регистрируется в том случае, если среднеквадратическая ошибка превышает порог, уровень которого автоматически определяется на этапе обучения нейронной сети.
Такой подход позволяет
- обнаруживать слабо проявляющиеся аномалии, характеризующиеся незначительным изменением взаимного поведения нескольких параметров. Это возможно за счет того, что нейронная сеть наблюдает одновременно за множеством параметров и выявляет их влияние друг на друга;
- регистрировать аномалии на ранних этапах развития проблемной ситуации, в том числе, когда они еще не могут быть визуально обнаружены оператором;
- снизить количество ошибочных (ложно-положительных) оповещений об аномалиях техпроцесса.
Kaspersky MLAD выявляет паттерны в цепочках событий и умеет обнаруживать отклонения от них
События отличаются от физического процесса, анализируемого предиктивным детектором, тем, что физический процесс является длящимся (представляет собой непрерывную функцию от времени), а события располагаются на оси времени атомарно. При этом значение имеет не столько отдельное событие, сколько последовательности, которые формируют события одного или разных типов.
Вследствие этого для анализа потока событий применяется специальный математический аппарат — нейросемантическое моделирование.
Нейронная сеть процессора событий не требует отдельного этапа обучения, она учится непосредственно на событийном потоке, поступающем в реальном времени, и в результате способна выявлять устойчивые повторяющиеся последовательности — «паттерны».
Пример паттерна: оператор в начале смены входит в помещение по своему пропуску, через 5-10 минут срабатывает датчик открытия двери шкафа с оборудованием, вскоре после этого на машину поступает команда А.
Отклонения от выученного «паттерна», такие как изменений порядка событий (подача команды до того, как оператор вошел в помещение), отсутствие ожидаемых событий в паттерне (оператор вошел и подал команду, но открытие шкафа не зарегистрировано), появление неожиданных событий (поданы команды А и Б), необычный разнос событий во времени (между входом оператора и открытием шкафа прошло 30 минут) — интерпретируются процессором событий как аномалии.
В поток событий, анализируемых процессором, могут быть также включены аномалии, выявленные предиктивным детектором или диагностическими правилами.
Входные данные
Kaspersky MLAD может работать с любыми данными телеметрии, удовлетворяющими таким условиям:
- Объект мониторинга должен выполнять стационарный или циклический (не обязательно периодический) технологический процесс и/или генерировать события, отражающие исполнение устоявшихся регламентов или процедур. При этом не требуется точное описание или математическая модель процесса, регламентов, или процедур. Достаточно только понимания того, что необходимые свойства у объекта имеются.
Как правило, производственные объекты этим условиям удовлетворяют. - Технологические параметры, представленные в составе телеметрии, должны давать достаточно полную картину функционирования объекта мониторинга (конкретной установки, технологического процесса или его обособленной части). Помимо измеренных (вычисленных) значений, желательно передавать значения уставок, поданных команд и состояний оборудования. Общее число параметров составляет от нескольких десятков до нескольких тысяч, в зависимости от специфики объекта.
- Период измерений (обновления данных) для параметров — физических величин должен быть много меньше характерного событийного интервала. Характерный событийный интервал — это отрезок времени, необходимый для того, чтобы накопленные в системе изменения можно было квалифицировать как сущностные (а не как случайные колебания или шумы). Минимальный возможный период измерений — порядка 20 мс.
- Значения параметров должны быть привязаны ко времени, а время источников телеметрии должно быть синхронизировано между собой.
Пример фрагмента телеметрии симулятора химического завода
Данные для обучения
Особенностью методов искусственного интеллекта является необходимость обучения нейронных сетей, входящих в состав детектора аномалий. В процессе обучения нейронная сеть анализирует телеметрию объекта, выявляет скрытые в ней закономерности и подстраивается под конкретный объект так, что получает возможность предсказывать его поведение.
Для обучения используется исторический архив данных телеметрии, имеющий точно такой же состав (набор параметров и частоту наблюдений), как и поток телеметрии, к котором детектор будет искать аномалии в продуктивном режиме.
Необходимый объем исторического архива зависит от частоты поступления данных, числа режимов технологического процесса и сезонности работы объекта. Как правило, нейронная сеть должна увидеть от 100 до 500 тыс. наблюдений (отсчетов времени) для каждого отдельного режима или сезона. На практике это соответствует массивам данных глубиной от нескольких дней (реакторы, компрессоры, пищевое производство) до года (агрегаты электростанций, инженерные системы зданий).
Данные в архиве, используемом для обучения, не обязательно должны быть полностью очищены от аномалий. Достаточно того, что эти данные были собраны в период, когда объект мониторинга в целом функционировал нормально. Небольшое число аномалий в архиве не является препятствием для обучения. Размечать архив (т.е. указывать, какие интервалы времени соответствуют аномальному поведению объекта) в этом случае не требуется.
В процессе эксплуатации Kaspersky MLAD характеристики объекта мониторинга могут измениться (новый вид сырья, замена отдельного узла, естественный износ оборудования). Чтобы сохранить качество работы детектора, нейронная сеть должна «усвоить» эти изменения, т.е. дообучиться. Дообучение происходит в фоновом режиме на том же самом потоке данных, который детектор анализирует на предмет выявления аномалий; собирать отдельный архив для дообучения не нужно.
Компоненты Kaspersky MLAD
Компоненты Kaspersky MLAD
Anomaly Detector
Обнаруживает аномалии в телеметрии физических процессов. Этот компонент представляет собой конфигурируемый конвейер анализа данных, в состав которого входят предиктивные детекторы и детекторы на основе диагностических правил.
Model Trainer
Выполняет дообучение детекторов на текущих данных телеметрии, поступающих с объекта. Используется для поддержания моделей в актуальном состоянии.
Stream Processor
Приводит данные телеметрии, поступающие от объекта мониторинга в реальном времени, к равно-интервальной временной сетке, выявляет дефекты в потоке данных.
Similar Anomaly
Выявляет и группирует похожие аномалии.
Event processor
Выявляет аномалии в событиях и их последовательностях.
Инфраструктурные и вспомогательные компоненты
Keeper и Message Broker
Маршрутизация сообщений и обмен данными между компонентами Kaspersky MLAD (на базе Kafka).
Time Series Database
Специализированная база данных для хранения временных рядов: значений технологических параметров, прогнозов ML-модели и ошибок прогноза (на базе InfluxDB).
Database
Реляционная база данных для хранения событий, выявленных инцидентов, а также конфигурации Kaspersky MLAD (на базе PostgreSQL).
API Server, Web Server, Logger
Общие инфраструктурные компоненты.
Mail Notifier
Выполняет рассылку оповещений об аномалиях.
ML-модель
ML-модель – это комплекс алгоритмов и их параметров, представляющий собой, по существу, конфигурацию Kaspersky MLAD для конкретного объекта мониторинга. ML-модель создается специалистами «Лаборатории Касперского» или сертифицированного интегратора с учетом особенностей функционирования объекта мониторинга и свойств его телеметрии.
В ML-модель, в частности, входят:
- архитектура и настройки (гиперпараметры) нейронных сетей предиктивных детекторов;
- диагностические правила;
- конфигурация вычислительного конвейера для последовательно-параллельной обработки потока данных телеметрии предиктивными детекторами и диагностическими правилами;
- архитектура и гиперпараметры процессора событий.
ML-модель не входит в комплект поставки ПО Kaspersky MLAD. Она создается и обучается в рамках Услуги построения модели и внедрения детектора аномалий. Обученная ML-модель загружается в Kaspersky MLAD, после чего программный комплекс готов к анализу данных и выявлению аномалий на конкретном объекте, для которого была создана ML-модель.
Коннекторы
В комплекте с Kaspersky MLAD поставляются модули, которые обеспечивают обмен данными с внешними системами: прием телеметрии и/или отправку извещений об обнаруженных аномалиях.
OPC UA Connector
Получение данных телеметрии в реальном времени от систем АСУ ТП по протоколу, который описан спецификацией OPC Unified Architecture (Унифицированная архитектура OPC).
MQTT / AMQP Connector
Получение телеметрии от IoT-устройств в реальном времени по протоколу MQTT или AMQP от брокера, а также отправка брокеру извещений об аномалиях.
HTTP Connector
Коннектор применяется для периодической доставки в Kaspersky MLAD накопленных на объекте данных телеметрии. Данные принимаются в виде CSV-файлов через POST-запросы протокола HTTP.
CEF Connector
Получение потока событий в формате Common Event Format.
WebSocket Connector
Получение данных телеметрии от систем АСУ ТП по протоколу WebSocket, а также отправка WebSocket-серверу извещений об аномалиях.
КICS Connector
Получение телеметрии от Kaspersky Industrial CyberSecurity for Networks (KICS for Networks) и отправка в программу извещений о полученных аномалиях. Взаимодействие происходит по защищенному протоколу gRPC. KICS for Networks извлекает телеметрию непосредственно из сетевого трафика и понимает широкий спектр публичных и проприетарных промышленных протоколов.