Когда языковой ИИ встречается с пропагандой, никто не в безопасности

Вы сидите в удобном кресле у камина холодной зимней ночью. Возможно, у вас в руке кружка чая, возможно, что-то покрепче. Вы открываете журнал и видите статью, которую давно хотели прочитать. Название предполагало рассказ о многообещающей, но потенциально опасной новой технологии, которая вот-вот станет популярной, и, прочитав всего несколько предложений, вы оказываетесь вовлечены в историю. Автор утверждает, что в машинном интеллекте грядет революция, и нам, как обществу, нужно лучше предвидеть ее последствия. Но затем происходит самое странное: вы замечаете, что автор, как будто намеренно, опустил самое последнее слово первого.

Пропущенное слово вскакивает в ваше сознание почти непрошено: «самое последнее слово первого параграф.'' В вашем уме нет смысла внутреннего поискового запроса; слово "абзац" просто выскакивает. Это может показаться второй натурой, это упражнение по заполнению пробелов, но его выполнение заставляет вас думать о скрытых слоях знаний, стоящих за мыслью. Вам нужно владеть орфографическими и синтаксическими моделями английского языка; вам нужно понимать не только словарные определения слов, но и то, как они соотносятся друг с другом; вы должны быть достаточно знакомы с высокими стандартами журнальной публикации, чтобы предположить, что пропущенное слово — это не просто опечатка, и что редакторы, как правило, неохотно опускают ключевые слова в публикуемых материалах, если только автор не пытается быть умным — возможно, пытается используйте пропущенное слово, чтобы подчеркнуть надежная сообразительность, как быстро человек, говорящий по-английски, может подобрать нужное слово.

Прежде чем вы сможете продолжить эту идею, вы вернетесь к статье, где вы обнаружите, что автор привел вас в строительный комплекс в пригороде Айовы. Внутри одного из зданий находится чудо современной техники: 285,000 XNUMX процессорных ядер объединены в один гигантский суперкомпьютер, работающий от солнечных батарей и охлаждаемый промышленными вентиляторами. Машины никогда не спят: каждую секунду каждого дня они выполняют бесчисленные вычисления, используя передовые методы машинного интеллекта, известные под такими названиями, как «стохастический градиентный спуск» и «сверточные нейронные сети». Вся система считается одним из самых мощных суперкомпьютеров на планете.

И что, спросите вы, эта вычислительная динамо-машина делает со всеми этими колоссальными ресурсами? По большей части это своего рода игра, повторяющаяся снова и снова, миллиарды раз в секунду. А игра называется: Угадай, какое пропущенное слово.

Суперкомпьютерный комплекс в Айове работает программа, созданная OpenAI, организацией, созданной в конце 2015 года горсткой светил Силиконовой долины, включая Илона Маска; Грег Брокман, который до недавнего времени был техническим директором гиганта электронных платежей Stripe; и Сэм Альтман, в то время президент инкубатора стартапов Y Combinator. В первые несколько лет своего существования, пока создавалось доверие к программированию, технические достижения OpenAI в основном были омрачены звездной мощью его основателей. Но все изменилось летом 2020 года, когда OpenAI начал предлагать ограниченный доступ к новой программе под названием Generative Pre-Trained Transformer 3, в просторечии называемой GPT-3. Хотя изначально платформа была доступна лишь небольшой группе разработчиков, примеры сверхъестественного мастерства языка GPT-3 — и, по крайней мере, иллюзии познания — начали циркулировать в Интернете и социальных сетях. Siri и Alexa популяризировали опыт общения с машинами, но это было на следующем уровне, приближаясь к беглости, которая напоминала творения из научной фантастики, такие как HAL 9000 из «2001»: компьютерная программа, которая может отвечать на открытые сложные вопросы в совершенстве. составленные предложения.

Как область ИИ в настоящее время фрагментирован среди множества различных подходов, нацеленных на разные виды проблем. Некоторые системы оптимизированы для решения задач, связанных с перемещением в физическом пространстве, например, в беспилотных автомобилях или робототехнике; другие классифицируют фотографии для вас, идентифицируя знакомые лица, домашних животных или отдых. Некоторые формы искусственного интеллекта, такие как AlphaFold, проект DeepMind, дочерней компании Alphabet (ранее Google), начинают решать сложные научные проблемы, такие как предсказание структуры белков, что играет центральную роль в разработке и открытии лекарств. Во многих из этих экспериментов используется общий подход, известный как «глубокое обучение», в котором нейронная сеть, смутно смоделированная по образцу структуры человеческого мозга, учится выявлять закономерности или решать проблемы посредством бесконечно повторяющихся циклов проб и ошибок, укрепляя нейронные связи. и ослабление других с помощью процесса, известного как обучение. «Глубина» глубокого обучения относится к нескольким слоям искусственных нейронов в нейронной сети, слоям, которые соответствуют все более и более высоким уровням абстракции: например, в модели, основанной на зрении, слой нейронов может обнаруживать вертикальные линии. , который затем передавался бы на слой, обнаруживающий края физических структур, который затем сообщал бы слою, который идентифицировал дома, а не многоквартирные дома.

GPT-3 относится к категории глубокого обучения, известной как большая языковая модель, сложная нейронная сеть, которая была обучена на титаническом наборе данных текста: в случае GPT-3 примерно 700 гигабайт данных, взятых из Интернета, включая Википедию, дополненную большой коллекцией текстов из оцифрованных книг. GPT-3 — самая знаменитая из больших языковых моделей и наиболее общедоступная, но Google, Meta (ранее известная как Facebook) и DeepMind в последние годы разработали свои собственные LLM. Достижения в вычислительной мощности — и новые математические методы — позволили LLM устаревшего GPT-3 обрабатывать гораздо большие наборы данных, чем их предшественники, и использовать для обучения гораздо более глубокие слои искусственных нейронов.

Скорее всего, вы уже взаимодействовали с большой языковой моделью, если вы когда-либо использовали приложение, такое как Gmail, которое включает функцию автозаполнения, мягко подсказывая вам слово «посетить» после того, как вы напечатаете предложение «К сожалению, я выиграл». 'не быть в состоянии...'' Но автозаполнение — это лишь самое рудиментарное выражение того, на что способно такое программное обеспечение, как GPT-3. Оказывается, при достаточном количестве обучающих данных и достаточно глубоких нейронных сетях большие языковые модели могут проявить замечательное мастерство, если вы попросите их не просто заполнить пропущенное слово, но и продолжить писать целые абзацы в стиле исходной подсказки. Например, когда я дал GPT-3 подсказку:

В 1958 году Фрэнк Розенблатт представил Perceptron, раннюю версию нейронной сети, которая могла определять только расположение квадрата на печатной карте. Пятьдесят лет спустя нейронные сети способны… . .

Программное обеспечение покорно завершило мысль, а затем продолжило, улавливая историческое обрамление исходного текста:

. . . обнаружение и классификация лиц, поиск закономерностей в данных и имитация человеческого мозга. В то время как нейронная сеть развивалась в академических кругах, она также нашла применение в технологической отрасли. В конце 1980-х и начале 90-х нейронные сети использовались в приложениях для распознавания речи и символов. Рост вычислительной мощности и возможность собирать большие наборы данных позволили появиться другим приложениям для нейронных сетей.

С момента выпуска GPT-3 Интернет был наводнен примерами жуткой способности программного обеспечения к языку — наряду с его слепыми пятнами, недостатками и другими более зловещими тенденциями. GPT-3 был обучен писать голливудские сценарии и сочинять научную литературу в стиле классического произведения Gay Talese New Journalism «Фрэнк Синатра простужен». через миры, придуманные на лету нейронной сетью. Другие вводили программные подсказки, которые генерировали явно оскорбительные или бредовые ответы, демонстрируя ограничения модели и ее потенциальный вред, если его широко применять в ее нынешнем состоянии.

До сих пор эксперименты с большими языковыми моделями сводились к следующему: эксперименты по проверке модели на наличие признаков истинного интеллекта, изучение ее творческого использования, выявление ее предубеждений. Но конечный коммерческий потенциал огромен. Если существующая траектория продолжится, такое программное обеспечение, как GPT-3, может произвести революцию в том, как мы ищем информацию в ближайшие несколько лет. Сегодня, если у вас есть сложный вопрос о чем-то — например, как настроить систему домашнего кинотеатра или какие есть варианты создания 529 образовательного фонда для ваших детей — вы, скорее всего, наберете несколько ключевых слов в Google, а затем просмотрите их. список ссылок или предлагаемых видео на YouTube, просматривая все, чтобы получить точную информацию, которую вы ищете. (Излишне говорить, что вы даже не подумали бы попросить Siri или Alexa провести вас через что-то настолько сложное.) Но если истинно верующие GPT-3 правы, в ближайшем будущем вы просто зададите вопрос LLM и получить ответ, скормленный вам, убедительно и точно. Обслуживание клиентов может быть полностью преобразовано: любая компания, производящая продукт, которому в настоящее время требуется команда технической поддержки, может обучить LLM, чтобы заменить их.

Прочитайте полную историю здесь…