Созданный компанией Microsoft самообучающийся твиттер-бот с искусственным интеллектом менее через сутки после запуска научился ругаться и отпускать расистские замечания. По замыслу создателей, общаться программа должна в основном с молодыми людьми 18-24 лет. В процессе общения искусственный интеллект учится у собеседника. Вот он и научился… Хотя даже наиболее продвинутые образцы современного искусственного интеллекта не превосходят четырехлетнего ребенка, некоторые скептики, в частности, известный ученый Стивен Хокинг, опасаются слишком быстрого развития этой отрасли с последующими крупными неприятностями для человечества. Угрожает ли нам восстание машин? Ведущий программы "Пятый этаж" Михаил Смотряев обсуждает эту тему с российским писателем-фантастом Леонидом Кагановым. Загрузить подкаст программы "Пятый этаж" можно здесь. Михаил Смотряев: Мы читали классику — Станислава Лема, с голоса которого открылась сегодня наша программа. Он, правда, писал свои книги, в том числе и посвященные этим вопросам, тогда, когда искусственный интеллект представлялся чем-то очень далеким. Приблизительно было понятно, как это должно функционировать с точки зрения научной фантастики, но до практической реализации оставались, как тогда казалось, десятилетия, если не больше. Даже когда появился шумный фильм "Терминатор" с человекоподобным роботом, который мыслил, хотя и односторонне – из серии "убить всех человеков", — это тоже казалось дурной шуткой. Сейчас сам Стивен Хокинг, который вынужден из-за своей тяжелой болезни для общения с окружающим миром пользоваться специально разработанной программой, которая тоже инкорпорирует в себя элементы искусственного интеллекта, предупреждает, что плохо нам может быть, причем гораздо раньше, чем мы думаем. Действительно ли все так плохо? История с искусственным интеллектом компании Microsoft: не хотелось ничего плохого про них говорить, но одно дело "Твиттер". Российские комментарии не удивительны, если этот робот или робот-бот набирался своего интеллекта, общаясь с восемнадцатилетними подростками. Надо думать, что и словарный запас там соответствующий, и глубина мысли. Но компьютеры, к сожалению, занимаются не только тем, что пишут посты в "Твиттер". Короче, как далеко мы от восстания машин со всеми этими терминаторскими примочками, надо ли уже запасаться сгущенкой? Леонид Каганов: Хорошая тема, интересная. Начать надо с того, что первым был не Лем. Слово "робот" придумал, если не ошибаюсь, Карел Чапек. Первые романы о роботах, даже был какой-то фильм начала прошлого века о битвах роботов с человечеством, то есть с тех пор, как появилась тема роботов (она появилась одновременно с темой битвы с человечеством), — для роботов это вполне нормально. Вторая значимая эпоха – это Айзек Азимов, который сформулировал правила поведения роботов, что робот не должен приносить вред человеку. М.С.: Три правила робототехники. Л.К.: Эти темы шли неразрывно: роботы и борьба с человечеством идут рука об руку всю историю роботов с тех пор, как появилось само это слово. Хокинг, мне кажется, сильно опережает свое время, наше время. Он гений, и нам его понять сложно, но, на мой взгляд, пока страхи преувеличены, потому что робототехника развивается гораздо медленнее, чем мы бы хотели. Все ждали, что уже буквально через 5-10 лет после публикации романа Карела Чапека у нас появятся роботы, все уже бредят роботами в домашнем хозяйстве, но пока мы не видим этого всего. Все, что мы видим в попытках создать искусственный интеллект, — достаточно беспомощное, не потому что мы плохо работаем над этой проблемой, а потому что проблема очень большая. Создать человеческий разум крайне сложно, может быть, человеческого разума недостаточно, чтобы его продублировать. Узнаем чуть позже. Пока, на сегодняшний день, все эксперименты с роботами – это такой "эпик фэйл": делаются какие-то боты для чатов либо для каких-то вещей, предпринимается попытка их чему-то обучить. Каждый раз происходит что-то неожиданное, потому что огромное количество неожиданностей, и по какой-то причине робот не срабатывает. Поэтому вся история роботов – это история каких-то казусов, которые с ними происходят: когда им поручают принять решение, они принять это решение уже не могут. М.С.: Вы говорили о создании искусственного интеллекта по образцу и подобию человеческого. Сразу возникает вопрос: должен ли искусственный интеллект быть похожим на человеческий? Мы вновь возвращаемся к творчеству горячо любимого нами на "Пятом этаже" фантаста Станислава Лема, к его более поздним произведениям. Я их имел в виду, даже не столько фантастику, сколько его публицистические работы типа "Сумма технологии". С одной стороны, имитировать, воспроизводить то, что уже есть, создано природой, вряд ли разумно. Что касается создания интеллекта, который будет по принципиальным параметрам отличаться от человеческого, — возможность взаимодействия с ним будет практически нулевой, мы просто не будем понимать друг друга совсем. Дальше начинаются апокалиптические сценарии из серии того, что потом этот интеллект возьмется за оружие, и дальше – "Терминатор", "Матрица". Сколько еще этих фильмов было снято, я думаю, Алик к концу программы подсчитает точно и скажет нам. Л.К.: Если говорить серьезно, то действительно не понятно, будет ли искусственный интеллект похож на наш, потому что наш интеллект во многом определяется глубинными инстинктами, эмоциями, которые в принципе можно продублировать и как-то эмулировать для создания робота, но не понятно, надо ли. Мы наблюдаем сейчас картину, когда человечество всю дорогу ждало робота в облике андроида. Придет к нам человек с железными руками, ногами и лампочкой вместо носа, и это будет робот. Но те роботы, которые сейчас созданы, очень далеки от андроида. Даже посудомоечная машина, например, не то, что непохожа на женщину, которая моет посуду, а вообще работает по другому принципу. Мы общаемся с роботами регулярно: нам звонит телефон, и робот сообщает, что у нас задолженность по оплате интернета, например. Мы постоянно сталкиваемся с какими-то роботами, которые с нами как-то коммуницируют, иногда даже человеческим голосом, но при этом среди них нет андроидов, и их принципы действия далеки от человеческого. Поскольку нам не удалось повторить пока внешнюю форму человека, я думаю, не скоро удастся повторить и собственно мозг человека. Скорее всего, роботы, которые нам встретятся, будут обладать какими-то абсолютно перпендикулярными нам системами мышления. То, что этот робот научился ругаться, мне кажется, это очень смешная новость, потому что в принципе логично, — по крайней мере, стало понятно, что он хорошо умеет обучаться. М.С.: Что касается обучения, это вызывает определенные сложности, в том числе у нас в первую очередь, у неспециалистов, для понимания, что есть процесс обучения. Обучая машину, исходя из каких представлений мы ее обучаем – своих человеческих или алгоритмических? Большинство наших слушателей, так или иначе, где-нибудь в школе на уроках программирования сталкивались с первой аппроксимацией языка программирования – "если то — иначе все". Не обязательно писать это машинными кодами, каким-нибудь ассемблером. Эта система глубоко логичная, она не допускает никакой двусмысленности в то время, как человеческое обучение, особенно в том, что касается, например, гуманитарных наук, да и не только их – в технических, в точных науках сейчас, наверное, тоже есть простор для неопределенности, — это совершенно другая конструкция. Когда мы говорим, что мы обучаем искусственный интеллект, мы действительно его обучаем, или нам кажется, что мы его обучаем, а на выходе, — пока еще довольно безобидная штука с этим "Твиттером": матерщина и предложение узаконить геноцид? Понятно, что это, как говорится, "опечатка по вине типографии", правда, это всего-навсего твиттер-бот. Л.К.: Я не знаю, на каком принципе построили в Microsoft робота. Я могу рассказать о своих экспериментах. Буквально 20 лет назад я защищал диплом — программа, которая пишет стихи. Я скармливал программке текст, она анализировала взаимное расположение слов между собой. Если слова встречались рядом, она считала, что это слово – пара. После этого она генерила из них по заданному стихотворному ритму какой-то стишок. Он получался чисто грамматически связанный, потому что она набрала базу слов, которые встречались между собой. Раз они рядом стояли в предложении, значит, они в принципе употребляются. Это простая вещь, это просто роботу скормили текст, и он проанализировал расположение слов. Когда конструируется настоящий интеллект, начинается игра смыслов, понятий и разных сущностей, которые стоят глубоко над текстом. Это очень интересная область, с которой пока многие бьются. Была хорошая российская фирма ABBYY, у них была программа Compreno, которую они пилили много лет, не знаю, чем дело кончилось. Они вбивали огромное количество баз, смысловых ветвей, строили деревьев. Это очень большая проблема – как наполнить робота базой, по которой он будет дальше работать. Если в Microsoft дали доступ к базе детям, которые начали ругаться, произошел понятный эффект. М.С.: На самом деле микрософтовское явление в "Твиттере" вряд ли можно считать предметом нашего разговора, это скорее повод поговорить про искусственный интеллект и состояние, в котором он сегодня находится. Что касается "Твиттера" и молодежной аудитории, как я уже говорил, несложно было предсказать, чем это закончится. Другое дело, что это произошло так быстро – за сутки, что и наводит на мысль: действительно ли речь идет о какой-то обучаемости, об образовательном процессе или это просто скорострельный компьютер, который набрал (поскольку активность в интернете не стихает ни на секунду) достаточно большой массив, чисто статистический массив, данных, слов и выбрал из них наиболее употребимые? Л.К.: Либо вызывающие наиболее яркую, бурную реакцию. Наверное, когда он это повторял, произносил в чатах (его же обкатывали, он тоже что-то болтал), это вызывало бурную реакцию, по которой он, возможно, понимал, что он говорит что-то интересное, как ему казалось. М.С.: Мы вновь упираемся в терминологию. То, что мы называем интеллектом, не просто совокупность каких-то логических бинарных установок, которые будучи последовательно, применяя некую систему, приложены к окружающей действительности, к той или иной ситуации, выдадут какой-то неизбежный и достаточно легко прогнозируемый результат. Это, видимо, сродни чему-то квантовому, когда у вас есть большой массив решений, среди которого с той или иной вероятностью — с большей или меньшей, — попадаются и довольно далеко отстоящие друг от друга варианты. Когда мы возвращаемся к эмоциям, — насколько наши эмоции, подверженность человеческого мозга его эмоциональной стороне являются частью интеллекта? С одной стороны, мы описываем процессы, происходящие в человеческом мозгу с точки зрения органической химии и формул. Понятно, что там еще непочатый край работы, но это неким образом можно уже математизировать. Что касается искусственного интеллекта, такое ощущение, что до этого еще очень и очень далеко, и мы опять возвращаемся к роботам-убийцам. Судя по всему, нам с вами их увидеть еще не доведется. Л.К.: Если говорить начистоту и серьезно, то пока мы имеем дело во всех этих проектах с говорящим электронным попугаем. Он слушает какие-то фразы, как-то отвечает — иногда впопад, иногда невпопад, и мы воспринимаем его как интеллект, хотя на самом деле он и близко не является интеллектом, потому что в нем нет ничего, что присуще интеллекту. Я тоже проводил смешные эксперименты, скриптик выкладывал в интернет: брал скрипт, в котором произносилось слово голосом, он его обрабатывал, шел на "Луркморье", делал запрос и зачитывал опять же голосом в ответ содержимое первого абзаца. Получалось очень смешно. Ему говорили, например, "Пушкин". Он занудным голосом говорил: "Пушкин – поэт, руками, негр", — все, что написано на сайте "Луркморье", как вы знаете. Если бы я ему скормил "Википедию", то соответственно была бы более приличная фраза на слово "Пушкин", более приличная реакция. Поэтому опять вопрос в том, что мы даем в качестве материала этому электронному попугаю. Со стороны это производило впечатление, что это электронное существо отвечает на вопрос, хотя на самом деле это было просто повторение каких-то фраз. Все определяет материал. Если допустили подростков до управления роботом, получили закономерный результат. Может быть, это и неплохо и надо было продолжить эксперимент. Может быть, в конце концов, ему надоело бы повторять расистские высказывания, и он научился чему-то другому. М.С.: В политически корректном "Твиттере" сию секунду, особенно когда на кону стоит репутация такой компании, как Microsoft, это не так просто сделать. Если посмотреть на компьютеры, которыми мы пользуемся уже сегодня, которые обладают, — не знаю, можно ли это считать зачатками интеллекта, — это компьютеры, которые приставлены к наиболее чувствительным областям человеческой жизни – авиадиспетчерские, или компьютеры, которые управляют теми или иными формами вооружений. Разумеется, говорить об интеллекте, как о некоем понятии, эквивалентном или близком человеческому, в этом случае нельзя, но действие этих компьютерных программ – "недоинтеллектов" — предполагает определенный массив решений, из которого можно выбрать. Некоторые из этих решений грозят конкретным людям, а временами и всему человечеству большими неприятностями уже сейчас. Насколько такая конструкция в принципе опасна? Л.К.: Смотря, как ее сделать и насколько решение, которое принял робот, претворять в жизнь. Я думаю, что все судьбоносные решения, по-любому проходят и в военной сфере, и в еще какой-то через оператора, потому что без человека в важных вопросах абсолютно нельзя обойтись: очень высока цена ошибки. Из всех роботов, которые я видел, меня больше всего удивил почему-то робот, который я видел на заводе Philips на конвейере по сборке бритв. Обычно как делается конвейер? Идет какая-то лента с деталями, стоит манипулятор, который эти детали механично берет и куда-то запихивает. Здесь был совершенно другой принцип: это был лоток, куда просто вываливались детальки, этот лоток периодически встряхивался, и компьютер определял самую подходящую детальку и как она расположена, поворачивал манипулятор таким образом, чтобы ее ухватить именно с нужной стороны, хватал ее и вставлял. Видимо, это было дешевле, чем держать человека, который эти детальки вставляет, и дешевле, чем упаковывать их в какую-то стандартную коробку или ленту, откуда ее можно было бы брать по стандартному алгоритму. Это было очень интересно, потому что висит экран, компьютер сначала обводит на изображении детальку, которую он приметил, и вторую, которую он заметил следующей на всякий случай — на вторую попытку. Робот работал абсолютно безошибочно. В таких вещах он уже дублирует человека, потому что гностическая функция, когда он распознает образ, точно определяет свое движение, точно хватает эту деталь, — это в принципе он делает то, что раньше мог делать только человек. Казалось бы, он занимается ерундой – собирает бритвы, но, тем не менее, это та область, когда робот полностью заменил человека, причем очень эффективно. Я простоял около конвейера минут десять, не было ни одного сбоя у этого робота, он безошибочно все хватал. Так что, могут работать. М.С.: Как не вспомнить нашу народную мудрость: "могут, когда хотят". В этом смысле с машинами меньше проблем и к ним меньше претензий, потому как мотивирующих или демотивирующих норм, как "хотеть идти на работу — не хотеть идти на работу", "хотеть идти вести "Пятый этаж" или не хотеть идти вести "Пятый этаж", — машина этих раздумий не знает. В сухом остатке получается, что конец программы у нас достаточно оптимистичный: на выходе нас не будут поджидать терминаторы ни сегодня, ни завтра, ни, по всей видимости, даже через несколько лет. Леонид Александрович, большое спасибо за то, что развеяли наши страхи.
