Новое поколение автономного оружия или «роботов-убийц» может случайно начать войну или вызвать массовые злодеяния Google инженер-программист предупредил.
Лора Нолан, которая ушла из Google в прошлом году в знак протеста против того, что ее отправили на работу над проектом, чтобы значительно улучшить Американские военные технология дронов, призывает запретить все машины для убийства ИИ, не управляемые людьми.
Нолан сказал, что роботы-убийцы, не управляемые человеческим дистанционным управлением, должны быть запрещены международным договором того же типа, который запрещает химическое оружие.
В отличие от беспилотных летательных аппаратов, которые контролируются военными командами, часто находящимися за тысячи километров от места, где разворачивается летающее оружие, Нолан сказал, что роботы-убийцы могут совершать «ужасные вещи, для которых они изначально не были запрограммированы».
Нет никаких предположений, что Google участвует в разработке автономных систем оружия. В прошлом месяце группа правительственных экспертов ООН обсудила вопрос об автономном оружии и обнаружила, что Google отказывается от ИИ для использования в системах вооружения и использует передовой опыт.
Нолан, который присоединился к Кампания остановить роботов-убийц и проинформировал дипломатов ООН в Нью-Йорке и Женеве об опасностях, связанных с автономным оружием, сказал: «Вероятность катастрофы пропорциональна количеству этих машин в одном конкретном районе одновременно. То, на что вы смотрите, - это возможные злодеяния и незаконные убийства даже по законам войны, особенно если развернуты сотни или тысячи этих машин.
«Могут быть крупные аварии, потому что эти вещи начнут вести себя неожиданным образом. Вот почему любые передовые системы вооружений должны подвергаться значимому контролю со стороны человека, в противном случае они должны быть запрещены, потому что они слишком непредсказуемы и опасны ».
Google наняла Нолан, выпускницу факультета компьютерных наук Тринити-колледжа в Дублине, для работы над Project Maven в 2017 после того, как она проработала в техническом гиганте в течение четырех лет, став одним из ее ведущих инженеров-программистов в Ирландии.
Она сказала, что стала «все более этически озабочена» своей ролью в программе Maven, которая была разработана, чтобы помочь Министерству обороны США значительно ускорить технологию распознавания видео с дронов.
Вместо того, чтобы использовать большое количество военных боевиков, чтобы спотчить часы и часы беспилотных видеосъемок потенциальных вражеских целей, Нолану и другим было предложено создать систему, в которой машины ИИ могли бы различать людей и объекты с бесконечно большей скоростью.
Google допустил прекращение контракта с Project Maven в марте этого года после того, как более 3,000 его сотрудников подписал петицию в знак протеста против участия компании.
«Будучи инженером по обеспечению надежности сайтов, мой опыт в Google состоял в том, чтобы обеспечить непрерывную работу наших систем и инфраструктур, и в этом я должен был помочь Maven. Хотя я не принимал непосредственного участия в ускорении распознавания видеозаписей, я понял, что все еще являюсь частью цепочки убийств; что это в конечном итоге приведет к тому, что американские военные будут преследовать и убивать больше людей в таких местах, как Афганистан ».
Хотя она ушла в отставку из-за Project Maven, Нолан предсказал, что разрабатываемое автономное оружие представляет гораздо больший риск для человеческой расы, чем беспилотники с дистанционным управлением.
Она рассказала, как внешние силы, начиная от смены погодных систем и заканчивая машинами, неспособными справляться со сложным поведением человека, могут сбить роботов-убийц с курса, что может привести к фатальным последствиям.
«У вас может быть сценарий, когда автономное оружие, которое было отправлено для выполнения работы, сталкивается с неожиданными радиолокационными сигналами в области, которую они ищут; может быть погода, которая не учитывается в его программном обеспечении, или они сталкиваются с группой вооруженных людей, которые выглядят как враги повстанцев, но на самом деле не имеют оружия, охотящегося за едой. У машины нет различения или здравого смысла, которые есть у человеческого прикосновения.
«Еще одна страшная вещь об этих автономных военных системах состоит в том, что вы можете действительно проверить их, только развернув в реальной зоне боевых действий. Может быть, это происходит с русскими в настоящее время в Сирии, кто знает? Что мы действительно знаем, так это то, что в ООН Россия выступила против любого договора, не говоря уже о запрете этого оружия.
«Если вы тестируете машину, которая самостоятельно принимает решения об окружающем мире, она должна быть в реальном времени. Кроме того, как вы обучаете систему, которая работает исключительно на программном обеспечении, как выявлять тонкое человеческое поведение или различать разницу между охотниками и повстанцами? Каким образом машина-убийца, самостоятельно летающая, различает бойца 18 и 18, который охотится на кроликов? »
Это напоминает мне ту сцену из «Военных игр» - немного старомодную, чтобы смотреть сейчас, - но очень актуальную. https://www.youtube.com/watch?v=NHWjlCaIrQo