Алгоритмы могут лгать и обманывать, но могут ли они быть остановлены?

Алгоритмы могут определять, получаете ли вы ипотечный кредит или сколько вы платите за страховку. Но иногда они ошибаются - а иногда они предназначены для обмана.

Многие алгоритмы неумышленно портятся. Некоторые из них, однако, считаются преступными. Алгоритмы - это формальные правила, обычно написанные в компьютерном коде, которые делают прогнозы на будущие события на основе исторических паттернов. Для обучения алгоритму вам необходимо предоставить исторические данные, а также определение успеха.

Мы видели, как за последние несколько десятилетий финансы перешли на алгоритмы. Торговые алгоритмы используют исторические данные для прогнозирования движения на рынке. Успех этого алгоритма является предсказуемым движением рынка, и алгоритм бдителен в отношении паттернов, которые исторически происходили непосредственно перед этим движением. Модели финансового риска также используют исторические рыночные изменения для прогнозирования катастрофических событий в более глобальном смысле, поэтому не для отдельных акций, а для всего рынка. Модель риска для ценных бумаг, обеспеченных ипотекой, была явно плохой - намеренно так - и доверие к этим моделям можно обвинить в большая часть масштаба и последующий ущерб, нанесенный финансовым кризисом 2008.

С 2008 года мы меньше слышали об алгоритмах в финансах и гораздо больше об алгоритмах больших данных. Цель этого нового поколения алгоритмов сместилась с абстрактных рынков на частных лиц. Но основная функциональность такая же: собирать исторические данные о людях, профилировать их поведение в Интернете, местоположение или ответы на анкеты и использовать этот массивный набор данных для прогнозирования их будущих покупок, поведения при голосовании или трудовой этики.

Недавнее распространение моделей больших данных в основном не было замечено средним человеком, но можно с уверенностью сказать, что наиболее важные моменты, когда люди взаимодействуют с большими бюрократическими системами, теперь включают алгоритм в форме системы подсчета очков. Поступить в колледж, устроиться на работу, быть оцененным как работник, получить кредитную карту или страховку, голосовать и даже полицейские во многих случаях выполняются алгоритмически. Более того, технология, введенная в эти систематические решения, в значительной степени непрозрачна даже для их создателей и до сих пор в значительной степени избежала значимого регулирования, даже когда она терпит неудачу. Это делает вопрос о том, какие из этих алгоритмов работают от нашего имени, еще более важным и актуальным.

У меня есть четырехслойная иерархия, когда дело доходит до плохих алгоритмов. На вершине есть непреднамеренные проблемы, которые отражают культурные предубеждения. Например, когда профессор Гарвардского университета Латаня Суини обнаружила, что Google ищет имена, которые считаются черными сгенерированные объявления, связанные с преступной деятельностьюМожно предположить, что не было никакого инженера Google, пишущего расистский код. Фактически, объявления были обучены быть плохими предыдущими пользователями поиска Google, которые с большей вероятностью нажимали на объявление о судимости, когда искали черное звучащее имя. Другой пример: Результат поиска картинок Google для «непрофессиональных волос», которые возвращаются почти исключительно чернокожими женщинами, аналогично обучаются людьми, публикующими или нажимающими на результаты поиска в течение всего времени.

Прочитайте полную историю здесь…