В сердце испанской правовой системы, где судьбы людей висят на волоске, скрывается алгоритм под названием RisCanvi. Он призван предсказывать вероятность рецидива преступлений среди заключенных, но недавний аудит выявил тревожные изъяны в его работе, поставив под сомнение справедливость и прозрачность системы.
Черный ящик правосудия
Представьте себе систему, которая молча, без объяснений, определяет судьбу человека – будет ли он освобожден или останется за решеткой. Именно такой механизм воплощает в себе RisCanvi. Разработанный командой под руководством Антонио Андреса Пуэйо из Университета Барселоны по заказу правительства Каталонии, алгоритм анализирует 43 фактора риска у каждого заключенного – от уровня образования до истории насилия и психического здоровья. На основе этих данных ему присваивается цвет: красный (высокий риск), желтый (средний) или зеленый (низкий).
Звучит логично, но аудит компании Eticas, первой, кто решился глубоко изучить работу RisCanvi, обнародовал шокирующие результаты. Алгоритм оказался «черным ящиком» – его внутренние расчеты непрозрачны, а сотрудники системы не всегда понимают, как именно формируется конечный риск. Как говорит Джемма Гэлдон Клавелл, генеральный директор Eticas: «Мы видим, как люди внедряют ИИ, фактически полагаясь на свои существующие предубеждения и ценности, вместо того чтобы строить систему на прозрачных данных и алгоритмах.»
Ложные сигналы и человеческий фактор
RisCanvi, по замыслу создателей, должен был снизить количество ошибок при освобождении заключенных, потенциально опасных для общества. Однако аудит показал, что алгоритм допускает существенные погрешности. Например, он недооценивает риск насилия над собой у молодых людей и женщин, а также не верно классифицирует тех, кто совершил насилие в тюрьме до 30 лет.
Более того, как выяснилось, система RisCanvi может быть подвержена «политическим решениям». Андрес Пуэйо признает, что баллы, используемые для оценки риска, могут быть скорректированы ответственными лицами, чтобы увеличить или уменьшить количество освобождаемых заключенных. Это подрывает фундаментальную идею объективности алгоритма и превращает его в инструмент, управляемый человеческим фактором, а не беспристрастным помощником правосудия.
Отражение глобальной проблемы
RisCanvi – не единичный случай. По всему миру алгоритмы, призванные оценивать риск преступлений и принимать решения в уголовной юстиции, сталкиваются с критикой. В Великобритании инструмент Oasys вызывает вопросы из-за непрозрачности его работы, а в США система COMPAS подверглась осуждению за предвзятость по отношению к чернокожим заключенным.
- VioGen – испанское программное обеспечение для оценки риска гендерного насилия, недавно попало под огонь критики после того, как алгоритм не распознал высокий риск у женщины, которая была убита своим мужем.
Эти примеры демонстрируют, что внедрение ИИ в правосудие – это сложный и рискованный путь. Необходимо обеспечить полную прозрачность алгоритмов, четкие критерии оценки риска, а также постоянный мониторинг и аудит для предотвращения дискриминации и ошибок, которые могут иметь катастрофические последствия для человеческих жизней.
RisCanvi – это не просто цифровой инструмент, это судьбы людей, запутавшиеся в сети алгоритмов. Важно, чтобы эти сети были прочными, справедливыми и прозрачными, а не ловушками, где ИИ ошибается, а люди страдают.
