- Автоматизированное решение принимается системой без участия человека
- Когда оно затрагивает права субъекта, действуют особые гарантии
- Субъект вправе требовать пересмотра решения с участием человека
- Человек имеет право понимать логику принятого о нём решения
- Перекладывать ответственность на алгоритм нельзя — отвечает оператор
Всё больше решений о людях принимают алгоритмы: дать ли кредит, одобрить ли заявку, заблокировать ли аккаунт. Это быстро и масштабируемо, но порождает вопрос: что делать человеку, которого алгоритм решил не в его пользу? Закон даёт ответ, и бизнесу важно его знать. Разберём правила автоматизированных решений.
Автоматизированное принятие решений — это когда система выносит решение о человеке без участия людей. Закон не запрещает такие решения, но окружает их гарантиями, когда они значимо затрагивают права субъекта. И главное: за решение алгоритма отвечает применяющий его оператор, а не «система сама по себе».
Что такое автоматизированное решение
Это решение, которое система принимает сама, на основе данных, без участия человека, и которое порождает последствия для субъекта.
| Пример | Последствие для человека |
|---|---|
| Кредитный скоринг | Отказ или одобрение займа |
| Автоматическая модерация | Блокировка контента или аккаунта |
| Фильтрация заявок | Отклонение без рассмотрения человеком |
| Антифрод-системы | Блокировка операции или счёта |
Не каждое автоматическое действие — это «решение» в смысле закона. Речь о решениях, которые значимо влияют на права и интересы человека.
Право на участие человека
Ключевая гарантия — субъект вправе не быть объектом исключительно автоматизированного решения, когда оно серьёзно его затрагивает.
Это значит, что у человека должна быть возможность потребовать, чтобы его случай рассмотрел человек, а не только алгоритм. Полностью отдавать судьбу человека машине без права на «живое» рассмотрение нельзя.
Если ваша система автоматически отказывает людям в чём-то значимом — кредите, услуге, доступе, — у человека должна быть возможность обжаловать это и добиться рассмотрения его случая человеком. Система без всякой возможности апелляции к человеку нарушает права субъекта.
Право на объяснение
С автоматизированными решениями связано требование прозрачности. Человек, которого затронуло решение, вправе понимать его логику.
Отговорка «решение принял алгоритм, мы ничего не можем сделать» неприемлема. Человек имеет право на осмысленное объяснение: почему принято такое решение, какие основные факторы повлияли. Это не требует раскрывать всю математику модели, но требует не прятаться за непрозрачностью «чёрного ящика».
Где это особенно важно
Некоторые сферы автоматизированных решений особенно чувствительны.
Финансы — скоринг определяет доступ к деньгам. Трудоустройство — автоматическая фильтрация резюме влияет на карьеру. Доступ к услугам — автоблокировки могут отрезать человека от важного сервиса. Чем серьёзнее последствия, тем важнее гарантии участия человека и объяснения.
Отдельный риск автоматизированных решений — скрытая дискриминация. Алгоритм, обученный на смещённых данных, может систематически ущемлять определённые группы, формально оставаясь «нейтральным». Оператор отвечает за такие последствия, поэтому алгоритмы принятия решений нужно проверять на справедливость.
Практические принципы
Чтобы автоматизированные решения соответствовали закону, заложите в систему несколько принципов. Обеспечьте возможность обжалования и рассмотрения человеком значимых решений. Давайте осмысленные объяснения принятых решений. Информируйте субъектов о том, что решение принимается автоматически. Проверяйте алгоритмы на отсутствие скрытой дискриминации. И помните, что ответственность за решение несёт оператор, а не абстрактная «система».
- Субъект информирован, что решение принимается автоматическиобязательно
- Есть возможность обжаловать решение и потребовать участия человекаобязательно
- Субъект может получить осмысленное объяснение решенияобязательно
- Алгоритм проверен на отсутствие скрытой дискриминации
- Ответственность за решения закреплена за оператором
Автоматизация решений — мощный инструмент, который экономит ресурсы и масштабирует бизнес. Но за каждым решением стоит живой человек с правами и интересами. Закон требует немногого: не превращать алгоритм в неоспоримого судью, давать человеку возможность быть услышанным и понимать, что с ним происходит. Это разумный баланс между эффективностью и справедливостью, который к тому же делает сервис человечнее.