Статья включена в Кодекс в ответ на распространение автоматизированных и основанных на искусственном интеллекте систем, решения которых затрагивают права и законные интересы человека.
Алгоритмы под контролем закона
Определение алгоритмической системы — это любая цифровая система, которая принимает решения или влияет на их принятие на основе автоматической обработки данных. Под действие нормы попадают не только полностью автономные сервисы, но и программы-помощники, а также любые системы ИИ. Законодатель применил технологически нейтральный подход, то есть важен сам факт влияния алгоритма на решение, а не его конкретная техническая архитектура.
Запрет дискриминации. Решения алгоритмов не должны приводить к дискриминации на основе чувствительных данных. Важно, что оценивается конечный результат, а не умысел разработчика. Это означает, что под запрет попадает и косвенная дискриминация, когда алгоритм «случайно» выдает предвзятый результат из-за особенностей обучающих его данных или логики работы, даже если у оператора не было цели кого-то ущемить.
Определение полностью автоматизированного решения. решение считается полностью автоматизированным, если оно принимается без какого-либо участия человека — как на этапе оценки обстоятельств, так и при утверждении итогового результата. Второе обязательное условие это наличие правового основания в виде прямого указания закона или соглашения сторон.
Этот пункт принципиально разделяет «чистую» автономию алгоритма (к которой применяются повышенные требования защиты) и случаи, где автоматизация выступает лишь вспомогательным инструментом в руках человека.
Три главных права субъекта. Если в отношении вас принимается полностью автоматизированное решение, Кодекс дает вам три инструмента защиты:
Право знать: Вас обязаны проинформировать о самом факте использования алгоритма.
Право на понятное объяснение: Вы можете потребовать разъяснить главные критерии, которые повлияли на итоговый вердикт. При этом сохранен баланс: компания или орган не обязаны раскрывать исходный код или коммерческую тайну.
Отсылка к специальному законодательству. Кодекс закладывает базовый фундамент, а конкретные детали и особенности применения алгоритмов и их решений передает специальному законодательству Республики Казахстан. Это отсылка к профильным актам — в том числе к отдельным законам об искусственном интеллекте и цифровых сервисах.
Сценарии на практике
Гражданин получает отказ в госуслуге или пособии, а на просьбу разъяснить вердикт ему отвечают: «Так решила система».
- Человеку обязаны сообщать о факте работы ИИ, разъяснять основные факторы отказа и по его требованию передавать дело на пересмотр специалисту.
Клиент требует раскрыть исходный код банковского скоринга, а банк не объясняет, почему ему отказали в кредите.
- Банк не обязан раскрывать коммерческую тайну и исходный код, но должен назвать конкретные критерии и данные, повлиявшие на оценку.
Оператор отказывается пересматривать ошибочный результат алгоритма, отправившего пользователей в «зону риска», ссылаясь на отсутствие умысла и технических сбоев.
Алгоритмы под контролем закона
Определение алгоритмической системы — это любая цифровая система, которая принимает решения или влияет на их принятие на основе автоматической обработки данных. Под действие нормы попадают не только полностью автономные сервисы, но и программы-помощники, а также любые системы ИИ. Законодатель применил технологически нейтральный подход, то есть важен сам факт влияния алгоритма на решение, а не его конкретная техническая архитектура.
Запрет дискриминации. Решения алгоритмов не должны приводить к дискриминации на основе чувствительных данных. Важно, что оценивается конечный результат, а не умысел разработчика. Это означает, что под запрет попадает и косвенная дискриминация, когда алгоритм «случайно» выдает предвзятый результат из-за особенностей обучающих его данных или логики работы, даже если у оператора не было цели кого-то ущемить.
Определение полностью автоматизированного решения. решение считается полностью автоматизированным, если оно принимается без какого-либо участия человека — как на этапе оценки обстоятельств, так и при утверждении итогового результата. Второе обязательное условие это наличие правового основания в виде прямого указания закона или соглашения сторон.
Этот пункт принципиально разделяет «чистую» автономию алгоритма (к которой применяются повышенные требования защиты) и случаи, где автоматизация выступает лишь вспомогательным инструментом в руках человека.
Три главных права субъекта. Если в отношении вас принимается полностью автоматизированное решение, Кодекс дает вам три инструмента защиты:
Право знать: Вас обязаны проинформировать о самом факте использования алгоритма.
Право на понятное объяснение: Вы можете потребовать разъяснить главные критерии, которые повлияли на итоговый вердикт. При этом сохранен баланс: компания или орган не обязаны раскрывать исходный код или коммерческую тайну.
Право на решение с участием человека:
Если автоматический вердикт влечет юридические последствия или задевает ваши права, вы вправе потребовать его пересмотра уполномоченным человеком.
Отсылка к специальному законодательству. Кодекс закладывает базовый фундамент, а конкретные детали и особенности применения алгоритмов и их решений передает специальному законодательству Республики Казахстан. Это отсылка к профильным актам — в том числе к отдельным законам об искусственном интеллекте и цифровых сервисах.
Сценарии на практике
Гражданин получает отказ в госуслуге или пособии, а на просьбу разъяснить вердикт ему отвечают: «Так решила система».
- Человеку обязаны сообщать о факте работы ИИ, разъяснять основные факторы отказа и по его требованию передавать дело на пересмотр специалисту.
Клиент требует раскрыть исходный код банковского скоринга, а банк не объясняет, почему ему отказали в кредите.
- Банк не обязан раскрывать коммерческую тайну и исходный код, но должен назвать конкретные критерии и данные, повлиявшие на оценку.
Оператор отказывается пересматривать ошибочный результат алгоритма, отправившего пользователей в «зону риска», ссылаясь на отсутствие умысла и технических сбоев.
- Дискриминация запрещена независимо от умысла разработчика, поэтому результат должен быть проверен человеком на основе исходных данных.
Полная версия материала опубликована на портале "Юрист" Параграф по ссылке. Авторы и члены рабочей группы Мажилиса Парламента по разработке Цифрового кодекса: Утеген Д., Дайырбеков Р., Кабышев Е.