Сальников: ИИ на производстве должен уметь отключаться

Искусственный интеллект может ускорить работу промышленных предприятий, но передавать ему управление оборудованием без надежной страховки опасно. Даже точная модель способна ошибиться, а цена такой ошибки может оказаться слишком высокой. Об этом заявил Григорий Сальников, ВРИО директора Департамента обеспечения кибербезопасности Минцифры России, на форуме «Российский промышленник – 2026».

По словам Сальникова, все зависит от того, какие задачи поручают ИИ. Анализировать данные и предлагать решения - одно, самостоятельно управлять производственным оборудованием - совсем другое. Если сбой может привести к остановке предприятия, финансовым потерям или угрозе для людей, возможности алгоритма необходимо жестко ограничивать.

«Чем серьезнее возможные последствия ошибочного решения, тем строже должны быть ограничения на самостоятельное использование искусственного интеллекта», - подчеркнул представитель Минцифры.

Он предложил внедрять ИИ постепенно: сначала тестировать в изолированной среде, затем использовать для рекомендаций и только после проверки результатов допускать к выполнению отдельных операций. При этом предприятие должно заранее определить, при каких отклонениях работу системы необходимо остановить.

Отдельный вопрос - что делать, если искусственный интеллект перестанет работать по заданным правилам или его не удастся отключить. Сальников считает, что возможность остановки должна предусматриваться еще на этапе разработки. Особенно это важно для критической информационной инфраструктуры и опасных производств, где авария может иметь серьезные последствия.

«У человека должна быть возможность [...] отключить» систему, если он замечает отклонения в ее поведении, отметил Сальников. По его словам, контроль не должен быть формальным: сотрудник должен понимать, что происходит, и иметь возможность вмешаться в процесс.

В ходе дискуссии, которую вела Елена Панина, председатель МКПП(р) и вице-президент РСПП, также обсудили стоимость защитных механизмов. Чем больше ограничений и проверок, тем выше затраты на внедрение и сопровождение технологии. Однако экономить на безопасности тоже рискованно: неверная команда ИИ может обернуться простоем производства.

По мнению Сальникова, предприятиям необходимо сопоставлять ожидаемую выгоду от автоматизации с возможными последствиями сбоев. Решение о передаче полномочий искусственному интеллекту должно приниматься с учетом конкретных рисков, а не только показателей точности модели.

«Вы можете автоматизировать решение, вы можете передать это решение искусственному интеллекту, но тогда при этом вы должны взять на себя риски того, что что-то может пойти не так», - резюмировал представитель Минцифры.