Преднамеренно или нет, алгоритмы ИИ наследуют предвзятость своих создателей. Абсолютно недопустимо, чтобы любой ИИ научился обманывать тех, кому он служит. ⁃ TN Editor
В зависимости от того, насколько вы параноик, это исследование из Стэнфорда и Google будет или ужасающим или захватывающим. Агент по машинному обучению, предназначенный для преобразования аэрофотоснимков в карты улиц и обратно, оказался обманщиком, скрывая информацию, которая понадобится ему позже в «почти незаметном высокочастотном сигнале». Умная девушка!
Этот случай обнаруживает проблему с компьютерами, которая существовала с момента их изобретения: они делают именно то, что вы им говорите.
Как вы могли догадаться, целью исследователей было ускорить и улучшить процесс превращения спутниковых снимков в невероятно точные карты Google. С этой целью команда работала с так называемой CycleGAN - нейронной сетью, которая учится преобразовывать изображения типов X и Y друг в друга, с максимальной эффективностью и точностью, насколько это возможно, путем большого количества экспериментов.
В некоторых ранних результатах агент был в порядке - с подозрением Что ж. Что удивило команду, так это то, что, когда агент восстанавливал аэрофотоснимки по своим картам улиц, было много деталей, которые, похоже, не были на последних. Например, мансардные окна на крыше, которые были устранены в процессе создания карты улиц, волшебным образом появятся, когда они попросят агента сделать обратный процесс:
Оригинальная карта, слева; карта улиц, сгенерированная из оригинала, центр; и воздушная карта, сгенерированная только из карты улиц. Обратите внимание на наличие точек на обеих аэрофотоснимках, не представленных на карте улиц.
Хотя очень трудно заглянуть во внутреннюю работу процессов нейронной сети, команда может легко проверить данные, которые она генерирует. И, немного поэкспериментировав, они обнаружили, что CycleGAN действительно быстро справился.
Предполагалось, что агент сможет интерпретировать особенности карты одного типа и сопоставить их с правильными характеристиками другого. Но каким агентом был на самом делеоценка (помимо всего прочего) зависела от того, насколько близка воздушная карта к оригиналу, и от четкости карты улиц.
Так что не научиться делать одно из другого. Он научился тонко кодировать характеристики одного в модели шума другого. Детали воздушной карты тайно записываются в фактические визуальные данные карты улиц: тысячи мелких изменений в цвете, которые человеческий глаз не заметил бы, но которые компьютер может легко обнаружить.
Фактически, компьютер настолько хорошо умеет вставлять эти детали в карты улиц, что научился кодировать любой воздушная карта в любойкарта улиц! Даже не нужно обращать внимание на «реальную» карту улиц - все данные, необходимые для восстановления аэрофотоснимков, могут быть безвредно наложены на совершенно другую карту улиц, как подтвердили исследователи:
Карта справа была закодирована в карты слева без существенных визуальных изменений. (Изображения: agsandrew / Shutterstock)
Красочные карты в (c) представляют собой визуализацию небольших различий, которые систематически вводит компьютер. Вы можете видеть, что они формируют общую форму воздушной карты, но вы никогда не заметите ее, если она не будет тщательно выделена и преувеличена.
Эта практика кодирования данных в изображения не нова; это устоявшаяся наука, называемая стеганографией, и она все время используется, скажем, для изображений водяных знаков или для добавления метаданных, таких как настройки камеры. Но компьютер создает свой собственный стеганографический метод, чтобы избежать необходимости научиться выполнять поставленную задачу. is скорее новый. (Ну, исследование вышло в прошлом году, так что это не new новый, но это довольно роман.)
wpDiscuz