Искусственный интеллект. Этапы. Угрозы. Стратегии читать онлайн - Ник Бостром

Искусственный интеллект. Этапы. Угрозы. Стратегии

Ник Бостром

Что случится, если машины превзойдут людей в интеллекте? Они будут помогать нам или уничтожат человеческую расу? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности?

В своей книге Ник Бостром пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума, и проанализировать его ответную реакцию.

На русском языке публикуется впервые.

Ник Бостром

Искусственный интеллект. Этапы. Угрозы. Стратегии

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

© Nick Bostrom, 2014

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2016

* * *

Эту книгу хорошо дополняют

Теория игр (http://litres.ru/8649584)

Авинаш Диксит и Барри Нэлбафф

Brainiac (http://litres.ru/6661579)

Кен Дженнингс

Удовольствие от x (http://litres.ru/6612268)

Стивен Строгац

Предисловие партнера

…У меня есть один знакомый, – сказал Эдик. – Он утверждает, будто человек – промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

    Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Компьютеры, а точнее алгоритмы, опирающиеся на непрерывно растущие вычислительные мощности, лучше людей играют в шахматы, шашки и нарды. Они очень неплохо водят самолеты. Они смогли пройти тест Тьюринга, убедив судей в своей «человечности». Однажды таксист в Дублине – городе, где расположены европейские штаб-квартиры многих глобальных IT-компаний, – сказал мне, что приветствует бурное развитие технологического сектора своей страны, но потом с сожалением добавил: «Одна беда – из-за этих умных ребят довольно скоро таксисты будут не нужны». Автомобили без водителей, управляемые компьютерами, уже проходят испытания на обычных дорогах в нескольких странах. По мнению философа Ника Бострома, чью книгу вы держите в руках, – все это звенья одной цепи и довольно скоро из-за развития компьютерных технологий нам всем, человеческому роду, может прийти конец.

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, – все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат – как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию – когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, – мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально – жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, – искусственного интеллекта, способного уничтожить человечество, – это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная – предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет – ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень

самовоспроизводства – вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

    Евгений Касперский,

    генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

– Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! – мечтательно прочирикал один воробей. – Она могла бы вить нам гнезда…

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

– Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

И только одноглазый Скронфинкл, въедчивый, с тяжелым нравом воробей, похоже, сомневался в целесообразности данного предприятия.

– Мы избрали гибельный путь, – убежденно промолвил он. – Разве не следует сначала серьезно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо?

– Сдается мне, – возразил ему Пастус, – искусство приручения сов – задача не из простых. Найти совиное яйцо – и то чертовски сложно. Так что давайте начнем с поиска. Вот сумеем вывести совенка, тогда и задумаемся о проблемах воспитания.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

На месте остались лишь воробьи, решившие все-таки выяснить, как приручать сов. Довольно быстро они поняли правоту Пастуса: задача оказалась неимоверно сложной, особенно в отсутствие самой совы, на которой следовало бы практиковаться. Однако птицы старательно продолжали изучать проблему, поскольку опасались, что стая вернется с совиным яйцом прежде, чем им удастся открыть секрет, каким образом можно контролировать поведение совы.

Автору неизвестно, чем закончилась эта история, но он посвящает свою книгу Скронфинклу и всем его последователям.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция – человеческий мозг – наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем – подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля – как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, – не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего – в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

В первых двух главах я рассмотрю разные научные направления и слегка затрону такую тему, как темпы экономического развития. Однако в основном книга посвящена тому, что произойдет после появления сверхразума. Нам предстоит обсудить следующие вопросы: динамику взрывного развития искусственного интеллекта; его формы и потенциал; варианты стратегического выбора, которыми он будет наделен и вследствие которых получит решающее преимущество. После этого мы проанализируем проблему контроля и попытаемся решить важнейшую задачу: возможно ли смоделировать такие исходные условия, которые позволят нам сохранить собственное превосходство и в итоге выжить. В последних главах мы отойдем от частностей и посмотрим на проблему шире, чтобы охватить в целом ситуацию, сложившуюся в результате нашего изучения. Я предложу вашему вниманию некоторые рекомендации, что следует предпринять уже сегодня, дабы в будущем избежать катастрофы, угрожающей существованию человечества.

Писать эту книгу было нелегко. Надеюсь, что пройденный мною путь пойдет на пользу другим исследователям. Они без лишних препятствий достигнут новых рубежей и полные сил смогут быстрее включиться в работу, благодаря которой люди полностью осознают всю сложность стоящей перед ними проблемы. (Если все-таки дорога изучения покажется будущим аналитикам несколько извилистой и местами изрытой ухабами, надеюсь, они оценят, насколько непроходимым был ландшафт прежде.)

Невзирая на сложности, связанные с работой над книгой, я старался излагать материал доступным языком; правда, сейчас вижу, что не вполне с этим справился. Естественно, пока я писал, то мысленно обращался к потенциальному читателю и почему-то всегда в данной роли представлял себя, только несколько моложе настоящего, – получается, я делал книгу, которая могла бы вызвать интерес прежде всего у меня самого, но не обремененного прожитыми годами. Возможно, именно это определит в дальнейшем малочисленность читательской

аудитории. Тем не менее, на мой взгляд, содержание книги будет доступно многим людям. Надо лишь приложить некоторые умственные усилия, перестать с ходу отвергать новые идеи и воздерживаться от искушения подменять все непонятное удобными стереотипами, которые мы все легко выуживаем из своих культурных запасов. Читателям, не обладающим специальными знаниями, не стоит пасовать перед встречающимися местами математическими выкладками и незнакомыми терминами, поскольку контекст всегда позволяет понять основную мысль. (Читатели, желающие, напротив, узнать больше подробностей, найдут много интересного в примечаниях[1 - Должен признать, не все примечания содержат ценную информацию.].)

Вероятно, многое в книге изложено некорректно[2 - Вряд ли смогу сказать, что именно изложено корректно.]. Возможно, я упустил из виду какие-то важные соображения, в результате чего некоторые мои заключения – а может быть, и все – окажутся ошибочными. Чтобы не пропустить мельчайший нюанс и обозначить степень неопределенности, с которой мы имеем дело, мне пришлось обратиться к специфическим маркерам – поэтому мой текст перегружен такими уродливыми словесными кляксами, как «возможно», «могло бы», «может быть», «похоже», «вероятно», «с большой долей вероятности», «почти наверняка». Однако я всякий раз прибегаю к помощи вводных слов крайне осторожно и весьма продуманно. Впрочем, для обозначения общей ограниченности гносеологических допущений одного такого стилистического приема явно недостаточно; автор должен выработать системный подход, чтобы рассуждать в условиях неопределенности и прямо указывать на возможность ошибки. Речь ни в коей мере не идет о ложной скромности. Искренне признаю, что в моей книге могут быть и серьезные заблуждения, и неверные выводы, но при этом я убежден: альтернативные точки зрения, представленные в литературе, – еще хуже. Причем это касается и общепринятой «нулевой гипотезы», согласно которой на сегодняшний день мы можем с абсолютным основанием игнорировать проблему появления сверхразума и чувствовать себя в полной безопасности.

Глава первая

Прошлые достижения и сегодняшние возможности

Начнем с обращения к далекому прошлому. В общих чертах история представляет собой последовательность различных моделей роста, причем процесс носит прогрессивно ускоряющийся характер. Эта закономерность дает нам право предполагать, что возможен следующий – еще более быстрый – период роста. Однако вряд ли стоит придавать слишком большое значение подобному соображению, поскольку тема нашей книги – не «технологическое ускорение», не «экспоненциальный рост» и даже не те явления, которые обычно подаются под понятием «сингулярность». Далее мы обсудим историю вопроса: как развивались исследования по искусственному интеллекту. Затем перейдем к текущей ситуации: что сегодня происходит в этой области. И наконец, остановимся на некоторых последних оценках специалистов и поговорим о нашей неспособности прогнозировать сроки дальнейшего развития событий.

Модели роста и история человечества

Всего несколько миллионов лет назад предки людей еще жили в кронах африканских деревьев, перепрыгивая с ветки на ветку. Появление Homo sapiens, или человека разумного, отделившегося от наших общих с человекообразными обезьянами предков, с геологической и даже эволюционной точки зрения происходило очень плавно. Древние люди принимали вертикальное положение, а большие пальцы на их кистях стали заметно отстоять от остальных. Однако самое главное – происходили относительно незначительные изменения в объеме мозга и организации нервной системы, что в конце концов привело к гигантскому рывку в умственном развитии человека. Как следствие, у людей появилась способность к абстрактному мышлению. Они начали не только стройно излагать сложные мысли, но и создавать информационную культуру, то есть накапливать сведения и знания и передавать их от поколения к поколению. Надо сказать, человек научился делать это значительно лучше любых других живых существ на планете.

Древнее человечество, используя появившиеся у него способности, разрабатывало все более и более рациональные способы производства, благодаря чему смогло мигрировать далеко за пределы джунглей и саванн. Сразу после возникновения земледелия стремительно начали расти величина населения и его плотность. Больше народа – больше идей, причем высокая плотность способствовала не только быстрому распространению новых веяний, но и появлению разных специалистов, а это означало, что в среде людей шло постоянное совершенствование профессиональных навыков. Данные факторы повысили темпы экономического развития, сделали возможным рост производительности и формирование технического потенциала. В дальнейшем такой же по значимости прогресс, приведший к промышленной революции, вызвал второй исторический скачок в ускорении темпа роста.

Такая динамика темпа роста имела важные последствия. Например, на заре человечества, когда Землю населяли прародители современных людей, или гоминиды[1 - Гоминиды (лат. Hominidae) высокоорганизованное семейство человекообразных обезьян; гоминид, человек ископаемый, представляет собой промежуточное звено между приматом и человеком разумным. Здесь и далее: прим. ред.], экономическое развитие происходило слишком медленно, и потребовалось порядка миллиона лет для прироста производственных мощностей, чтобы население планеты позволило себе увеличиться на миллион человек, причем существовавших на грани выживания. А после неолитической революции, к 5000 году до н. э., когда человечество перешло от охотничье-собирательского общества к сельскохозяйственной экономической модели, темпы роста выросли настолько, что для такого же прироста населения хватило двухсот лет. Сегодня, после промышленной революции, мировая экономика растет примерно на ту же величину каждые полтора часа[3 - В настоящее время доход на уровне прожиточного минимума равен примерно 400 долларов [Chen, Ravallion 2010]. Следовательно, для 1 млн человек эта сумма будет равняться 400 000 000 долларам. Мировой ВВП составляет около 60 000 000 000 000 долларов и растет с темпом четыре процента в год (учитывается среднегодовой темп роста с 1950 года, см. данные: [Maddison 2010]). Цифры, приведенные мною в тексте, основаны на этих данных, хотя они представляют всего лишь оценку порядка величины. Если проанализировать сегодняшнюю численность людей на Земле, то выяснится, что в среднем она увеличивается на 1 млн человек за полторы недели; но подобный темп прироста населения лимитирует скорость экономического развития, поскольку доход на душу населения растет тоже. При переходе к животноводству и земледелию население планеты выросло к 5000 году до н. э. на 1 млн человек за 200 лет – огромное ускорение по сравнению с эпохой гоминидов, когда на это требовалось 1 млн лет, – поэтому после неолитической, или сельскохозяйственной, революции прогресс пошел значительно быстрее. Тем не менее, согласитесь, не может не впечатлять, что семь тысяч лет назад на экономическое развитие требовалось 200 лет,

тогда как сегодня приросту на ту же величину хватает полутора часов для мировых экономик и полутора недель для населения планеты. См. также [Maddison 2005].].

Существующий темп роста – даже если он законсервируется на относительно продолжительное время – приведет к впечатляющим результатам. Допустим, мировая экономика продолжит расти со средним темпом, характерным для последних пятидесяти лет, все равно население планеты в будущем станет богаче, чем сегодня: к 2050 году – в 4,8 раза, а к 2100 году – в 34 раза[4 - Резкий рост и значительное ускорение подтверждают предположение о возможном приближении к точке сингулярности; в свое время это предвидели математики Джон фон Нейман и Станислав Улам:Чаще всего мы вели беседы на такие темы, как ускорение технического прогресса и общие перемены, влияющие на образ жизни человека. Наблюдая стремительные изменения, мы понимали, что исторически вся наша гонка неизбежно приведет человечество к некой неустранимой точке; перейдя ее, люди уже не смогут продолжать ту деятельность, к которой мы все так привыкли [Ulam 1958].].

Однако перспективы стабильного экспоненциального роста меркнут в сравнении с тем, что может произойти, когда в мире свершится следующее скачкообразное изменение, темп развития которого по значимости и последствиям будет сравним с неолитической и промышленной революциями. По оценкам экономиста Робина Хэнсона, основанным на исторических данных о хозяйственной деятельности и численности населения, время удвоения экономик охотничье-собирательского общества эпохи плейстоцена составляло 224 тысячи лет, аграрного общества – 909 лет, индустриального общества – 6,3 года[5 - См.: [Hanson 2000].]. (В соответствии с парадигмой Хэнсона современная экономическая модель, имеющая смешанную аграрно-индустриальную структуру, еще не развивается в удвоенном темпе каждые 6,3 года.) Если в мировом развитии уже случился бы такой скачок, сопоставимый по своему революционному значению с двумя предыдущими, то экономика вышла бы на новый уровень и удваивала бы темпы роста примерно каждые две недели.

С точки зрения сегодняшнего дня подобные темпы развития кажутся фантастическими. Но и свидетели минувших эпох тоже вряд ли могли предположить, что темпы роста мировой экономики когда-нибудь будут удваиваться несколько раз на протяжении жизни одного поколения. То, что для них представлялось совершенно немыслимым, нами воспринимается как норма.

Идея приближения момента технологической сингулярности стала чрезвычайно популярной после появления новаторских работ Вернона Винджа, Рэя Курцвейла и других исследователей[6 - См.: [Vinge 1993; Kurzweil 2005].]. Впрочем, понятие «сингулярность», которое используется в самых разных значениях, уже приобрело устойчивый смысл в духе технологического утопизма и даже обзавелось ореолом чего-то устрашающего и в тоже время вполне величественного[7 - См.: [Sandberg 2010].]. Поскольку большинство определений слова сингулярность не имеют отношения к предмету нашей книги, мы достигнем большей ясности, если избавимся от него в пользу более точных терминов.

Интересующая нас идея, связанная с понятием сингулярности, – это потенциальное взрывоподобное развитие интеллекта, особенно в перспективе создания искусственного сверхразума. Возможно, представленные на рис. 1 кривые роста убедят кого-то из вас, что мы стоим на пороге нового интенсивного скачка в темпе развития – скачка, сопоставимого с неолитической и промышленной революциями. Скорее всего, людям, доверяющим диаграммам, даже трудно вообразить сценарий, в котором время удвоения мировой экономики сокращается до недель без участия сверхмощного разума, во много раз превосходящего по скорости и эффективности своей работы наш привычный биологический ум. Однако не обязательно упражняться в рисовании кривых роста и экстраполяции исторических темпов экономического развития, чтобы начать ответственно относиться к революционному появлению искусственного интеллекта. Эта проблема настолько серьезна, что не нуждается в аргументации подобного рода. Как мы увидим, есть гораздо более веские причины проявлять осмотрительность.

Рис. 1. Динамика мирового ВВП за длительный исторический период. На линейной шкале история мировой экономики отображена как линия, сначала почти сливающаяся с горизонтальной осью, а затем резко устремляющаяся вертикально вверх. А. Даже расширив временные границы до десяти тысяч лет в прошлое, мы видим, что линия делает рывок вверх из определенной точки почти под девяносто градусов. Б. Линия заметно отрывается от горизонтальной оси только на уровне приблизительно последних ста лет. (Разность кривых на диаграммах объясняется разным набором данных, поэтому и показатели несколько отличаются друг от друга[8 - См.: [Van Zanden 2003; Maddison 1999; Maddison 2001; De Long 1998].].)

Завышенные ожидания

С момента изобретения в 1940-х годах первых электронно-вычислительных машин люди не перестают прогнозировать появление компьютера, уровень интеллекта которого будет сравним с человеческим. Имеется в виду разумная техническая система, наделенная здравым смыслом, обладающая способностью к обучению и размышлению, умеющая планировать и комплексно обрабатывать информацию, собранную по самым разным источникам – реальным и теоретическим. В те времена многие ожидали, что такие машины станут реальностью уже лет через двадцать[9 - Два часто повторяемых в 1960-е гг. оптимистичных утверждения: «Через двадцать лет машины смогут выполнять всю работу, которую делают люди» [Simon 1965, p. 96]; «В течение жизни нашего поколения… задача создания искусственного интеллекта будет в целом решена» [Minsky 1967, p. 2]. Системное исследование прогнозов см.: [Armstrong, Sotala 2012].]. С тех пор сроки сдвигаются со скоростью одного года в год, то есть сегодня футурологи, убежденные в вероятности создания искусственного интеллекта, продолжают верить, что «умные машины» появятся через пару десятков лет[10 - См., например: [Baum et al. 2011; Armstrong, Sotala 2012].].

Срок в двадцать лет любим всеми предсказателями коренных перемен. С одной стороны, это не слишком долго – и потому предмет обсуждения привлекает к себе широкое внимание; с другой стороны, это не так быстро, что дает возможность помечтать о целом ряде важнейших научных открытий – правда, представления о них на момент прогнозирования весьма расплывчаты, но их реализация практически не вызывает сомнения. Сопоставим это с более короткими прогностическими сроками, установленными для разных технологий, которым суждено оказать значительное влияние на мир: от пяти до десяти лет – на момент прогнозирования большинство технических решений уже частично применяются; пятнадцать лет – на момент прогнозирования эти технологии уже существуют в виде лабораторных версий. Кроме того, двадцатилетний срок чаще всего близок к средней продолжительности оставшейся профессиональной деятельности прогнозиста, что уменьшает репутационный риск, связанный с его дерзким предсказанием.

Впрочем, из-за слишком завышенных и несбывшихся ожиданий прошлых лет не следует сразу делать вывод, что создание искусственного интеллекта

невозможно в принципе и что никто никогда не будет его разрабатывать[11 - По моему предположению, исследователи, работающие в области ИИ, сами не отдают себе отчета, что довольно плохо представляют, сколько времени требуется на его создание; причем данное обстоятельство может сказаться на оценке срока разработки: как в сторону завышения, так и занижения.]. Основная причина, почему прогресс шел медленнее, чем предполагалось, связана с техническими проблемами, возникавшими при разработке разумных машин. Первопроходцы не предусмотрели всех трудностей, с которыми им пришлось столкнуться. Причем вопросы: велика ли степень серьезности этих препятствий и насколько мы далеки от их преодоления – до сих пор остаются открытыми. Порою задачи, первоначально кажущиеся безнадежно сложными, имеют удивительно простое решение (хотя чаще, пожалуй, бывает наоборот).

Мы рассмотрим пути, которые могут привести к появлению искусственного интеллекта, не уступающего человеческому, в следующей главе. Но уже сейчас хотелось бы обратить ваше внимание на один важный аспект. Нас ожидает много остановок между нынешним отправным пунктом и тем будущим, когда появится искусственный интеллект, но этот момент – отнюдь не конечная станция назначения. Довольно близкой от нее следующей остановкой будет станция «Сверхразум» – осуществление искусственного интеллекта такого уровня, который не просто равен человеческому уму, а значительно превосходит его. После последней остановки наш поезд разгонится до такой степени, что у станции «Человек» не сможет не только остановиться, но даже замедлить ход. Скорее всего, он со свистом промчится мимо. Британский математик Ирвинг Джон Гуд, работавший во времена Второй мировой войны шифровальщиком в команде Алана Тьюринга, скорее всего, был первым, кто изложил важнейшие подробности этого сценария. В своей часто цитируемой статье 1965 года о первых сверхразумных машинах он писал:

Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека. Поскольку создание таких машин является результатом умственной деятельности человека, то машина, наделенная сверхразумом, будет способна разрабатывать еще более совершенные машины; вследствие этого, бесспорно, случится такой «интеллектуальный взрыв», что человеческий разум окажется отброшенным далеко назад. Таким образом, первая сверхразумная машина станет последним достижением человеческого ума – правда, лишь в том случае, если она не обнаружит достаточную сговорчивость и сама не объяснит нам, как держать ее под контролем[12 - См.: [Good 1965, p. 33].].

Взрывное развитие искусственного интеллекта может повлечь за собой один из главных экзистенциальных рисков[2 - Согласно Центру по изучению экзистенциальных рисков (Кембридж), таковыми считаются потенциальные угрозы для человечества: искусственный интеллект, изменение климата, ядерное оружие, биотехнологии.] – в наши дни такое положение вещей воспринимается как тривиальное; следовательно, перспективы подобного роста должны оцениваться с крайней серьезностью, даже если было бы заведомо известно (но это не так), что вероятность угрозы относительно низка. Однако пионеры в области искусственного интеллекта, несмотря на всю убежденность в неминуемом появлении искусственного интеллекта, не уступающего человеческому, в массе своей отрицали возможность появления сверхразума, превосходящего человеческий ум. Создается впечатление, что их воображение – в попытках постичь предельную возможность будущих машин, сравнимых по своим мыслительным способностям с человеком, – просто иссякло, и они легко прошли мимо неизбежного вывода: дальнейшим шагом станет рождение сверхразумных машин.

Большинство первопроходцев не поддерживали зарождавшееся в обществе беспокойство, считая полной ерундой, будто их проекты несут в себе определенный риск для человечества[13 - Одним из немногих, кто выражал беспокойство по поводу возможных результатов, был Норберт Винер, в 1960 году писавший в статье «Некоторые моральные и технические последствия автоматизации» [Wiener 1960]:Если для достижения собственных целей мы используем некое механическое устройство, на деятельность которого после его запуска уже не в состоянии повлиять, поскольку его действия настолько быстры и небратимы, что информация о необходимости вмешательства у нас появляется, лишь когда они завершатся, то в таких случаях хорошо бы быть полностью уверенными, что заложенная нами в машину цель действительно соответствует нашим истинным желаниям, а не является красочной имитацией.О тревоге, связанной с возможным появлением сверхразумных машин, рассказал в своем интервью Эд Фредкин [McCorduck 1979]). Ирвинг Гуд продолжал говорить о возможных рисках и, чтобы предотвратить грозящую планете опасность, в 1970 году даже призвал к созданию ассоциации [Good 1970]; в более поздней статье он предвосхитил некоторые идеи косвенной нормативности [Good 1982] (мы их обсудим в главе 13). На принципиальные проблемные вопросы указал в 1984 году Марвин Мински [Minsky 1984].]. Никто из них ни на словах, ни на деле – ни одного серьезного исследования на эту тему – не пытался осмыслить ни тревогу по поводу безопасности, ни этические сомнения, связанные с созданием искусственного интеллекта и потенциального доминирования компьютеров; данный факт вызывает удивление даже на фоне характерных для той эпохи не слишком высоких стандартов оценки новых технологий[14 - См.: [Yudkowsky 2008a]. На необходимость дать оценку этическим аспектам потенциально опасных будущих технологий прежде, чем они станут реальностью, указывала Ребекка Роуч [Roache 2008].]. Остается только надеяться, что ко времени, когда их смелый замысел в итоге воплотится в жизнь, мы не только сумеем достичь достойного научно-технического опыта, чтобы нейтрализовать взрывное развитие искусственного интеллекта, но и поднимемся на высочайший уровень профессионализма, которое совсем не помешает, если человечество хочет пережить пришествие сверхразумных машин в свой мир.

Но прежде чем обратить свой взор в будущее, было бы полезно коротко напомнить историю создания машинного интеллекта.

Путь надежды и отчаяния

Летом 1956 года в Дартмутском колледже собрались на двухмесячный семинар десять ученых, объединенных общим интересом к нейронным сетям, теории автоматов и исследованию интеллекта. Время проведения Дартмутского семинара обычно считают точкой отсчета новой области науки – изучения искусственного интеллекта. Большинство его участников позднее будут признаны основоположниками этого направления. Насколько оптимистично ученые глядели в будущее, говорит текст их обращения в Фонд Рокфеллера, собиравшийся финансировать мероприятие:

Нами предполагается провести семинар по исследованию искусственного интеллекта, который продлится два месяца и в котором примут участие десять ученых… Изучение вопроса будет опираться на предположение, что на сегодняшний день существует принципиальная возможность моделирования интеллекта, поскольку теперь мы

в состоянии точно описать каждый аспект обучения машины и любые отличительные признаки умственной деятельности. Будет предпринята попытка определить пути, как разработать машину, способную использовать язык, формировать абстракции и концепции, решать задачи, сейчас доступные лишь человеческому уму, и саморазвиваться. Считаем, что добьемся существенного прогресса в решении отдельных указанных проблем, если тщательно отобранная группа специалистов получит возможность трудиться сообща в течение лета.

После эпохального события, отмеченного столь энергичным прологом, прошло шестьдесят лет, за которые исследования в области искусственного интеллекта преодолели нелегкий путь: от громогласного ажиотажа до падения интереса, от завышенных ожиданий к обманутым надеждам.

Первый период всеобщего воодушевления начался с Дартмутского семинара. Позднее его главный организатор Джон Маккарти описал это время как эпоху вполне успешного освоения в духе детского «смотри, мам, без рук могу!». В те далекие годы ученые выстраивали системы, целью которых было опровергнуть довольно часто звучавшие утверждения скептиков, будто машины «ни на что не способны». Чтобы парировать удар, исследователи искусственного интеллекта разрабатывали небольшие программы, которые выполняли действие Х в условном микромире (четко определенной ограниченной области, предназначенной для демонстрации упрощенной версии требуемого поведения), тем самым доказывая правильность концепции и показывая принципиальную возможность выполнения действия Х машинами. Одна из таких ранних систем, названная «Логик-теоретик» (Logical Theorist), смогла доказать большую часть теорем из второго тома «Оснований математики» (Principia Mathematica) Альфреда Уайтхеда и Бертрана Рассела[3 - Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006.]; причем одно из доказательств оказалось изящнее оригинального. Тем самым ученые, продемонстрировав способность машины к дедукции и созданию логических построений, сумели развеять миф, будто она «мыслит лишь цифрами»[15 - См.: [McCorduck 1979].]. За «Логик-теоретик» последовала программа «Универсальный решатель задач» (General Problem Solver, GPS), предназначенная решать, в принципе, любую формально определенную задачу[16 - См.: [Newell et al. 1959].]. Были созданы системы, которые справлялись с такими проблемами, как: математические задачи университетских курсов первого года обучения; визуальные головоломки по выявлению геометрических аналогий, применяемые при проверке показателя интеллекта; простые вербальные задачи по алгебре[17 - Программы Saints, Analogy и Student соответственно, см.: [Slagle 1963; Evans 1964; Evans 1968; Bobrow 1968].]. Робот «Трясучка» (Shakey) названный так из-за вибрации во время работы – показал, что машина может продумывать и контролировать свою двигательную активность, когда логическое мышление совмещено с восприятием окружающей действительности[18 - См.: [Nilsson 1984].]. Программа ELIZA прекрасно имитировала поведение психотерапевта[19 - См.: [Weizenbaum 1966].]. В середине 1970-х годов программа SHRDLU продемонстрировала, как смоделированный робот в смоделированном мире спокойно манипулирует объемными геометрическими фигурами, не только выполняя инструкции пользователя, но и отвечая на его вопросы[20 - См.: [Winograd 1972].]. В последующие десятилетия были созданы программы, способные сочинять классическую музыку разных жанров, решать проблемы клинической диагностики быстрее и увереннее врачей-стажеров, самостоятельно управлять автомобилями и делать патентоспособные изобретения[21 - См.: [Cope 1996; Weizenbaum 1976; Moravec 1980; Thrun et al. 2006; Buehler et al. 2009; Koza et al. 2003]. Первая лицензия на право пользоваться беспилотным автомобилем выдана управлением транспортных средств штата Невада в мае 2012 года.]. Появилась даже интеллектуальная система, выдававшая оригинальные шутки[22 - Система STANDUP [Ritchie et al. 2007].] (не сказать, чтобы уровень был высок, но дети, как говорят, находили их забавными).

Однако методы, хорошо зарекомендовавшие себя при разработке тех первых, практически демонстрационных, образцов интеллектуальных систем, не удавалось применить в тех случаях, когда речь заходила о широком спектре проблем и более трудных задачах. Одна из причин заключалась в комбинаторном взрыве, то есть скачкообразном росте количества возможных вариантов, которые приходилось изучать с помощью средств, основанных на простейшем методе перебора. Этот метод хорошо себя проявил на примере несложных задач, но не подходил для чуть более трудных. Например, для решения теоремы с доказательством длиной в пять строк системе логического вывода с одним правилом и пятью аксиомами требовалось просто пронумеровать все 3125 возможных комбинаций и проверить, какая из них приведет к нужному заключению. Исчерпывающий поиск также работал для доказательств длиной в шесть или семь строк. Но поиск методом полного перебора возможных вариантов начинал пробуксовывать, когда проблема усложнялась. Время для решения теоремы с доказательством не в пять, а пятьдесят строк будет отнюдь не в десять раз больше: если использовать полный перебор, то потребуется проверить 550 ? 8,9 ? 1034 возможных последовательностей – вычислительно немыслимая задача даже для самого сверхмощного компьютера.

Чтобы справиться с комбинаторным взрывом, нужны алгоритмы, способные анализировать структуру целевой области и использовать преимущества накопленного знания за счет эвристического поиска, долгосрочного планирования и свободных абстрактных представлений, – однако в первых интеллектуальных системах все перечисленные возможности были разработаны довольно плохо. Кроме того, из-за ряда обстоятельств – неудовлетворительные методы обработки неопределенности, использование нечетких и произвольных символических записей, скудость данных, серьезные технические ограничения по объему памяти и скорости процессора – страдала общая производительность этих систем. Осознание проблем пришло к середине 1970-х годов. Осмысление того, что многие проекты никогда не оправдают возложенных на них ожиданий, обусловило приход первой «зимы искусственного интеллекта»: наступил период регресса, в течение которого сократилось финансирование и вырос скептицизм, а сама идея искусственного интеллекта перестала быть модной.

Весна вернулась в начале 1980-х годов, когда в Японии решили приступить к созданию компьютера пятого поколения. Страна собиралась совершить мощный бросок в будущее и сразу выйти на сверхсовременный уровень технологического развития, разработав архитектуру параллельных вычислительных систем для сверхмощных компьютеров с функциями искусственного интеллекта. Это была хорошо финансируемая правительственная программа с привлечением крупных частных компаний. Появление проекта совпало со временем, когда японское послевоенное чудо приковывало к себе внимание всего западного мира: политические и деловые круги с восхищением и тревогой следили за успехами Японии, стремясь разгадать секретную формулу ее экономического взлета и надеясь воспроизвести ее у себя дома. Как только Япония решила инвестировать

огромные средства в изучение искусственного интеллекта, ее примеру последовали многие высокоразвитые страны.

В последующие годы широкое распространение получили экспертные системы, призванные заменить специалистов-экспертов при разрешении проблемных ситуаций. Они представляли собой автоматизированные компьютерные системы, программы которых базировались на наборе правил, позволяющих распознавать ситуации и делать простые логические умозаключения, выводя их из баз знаний, составленных специалистами в соответствующих предметных областях и переведенных на формальный машинный язык. Были разработаны сотни таких экспертных систем. Однако выяснилось, что от небольших систем толку мало, а более мощные оказались слишком громоздкими в применении и дорогостоящими в разработке, апробации и постоянном обновлении. Специалисты пришли к выводу, что непрактично использовать отдельный компьютер для выполнения всего одной программы. Таким образом, уже к концу 1980-х годов этот период подъема тоже выдохся.

Японский проект, связанный с появлением компьютера пятого поколения, в принципе, провалился, как и аналогичные разработки в США и Европе. Наступила вторая зима искусственного интеллекта. Теперь маститый критик мог вполне обоснованно посетовать, что, мол, «вся история исследований искусственного интеллекта вплоть до сегодняшнего дня складывается из череды отдельных эпизодов, когда, как правило, очень умеренная удача на исключительно узком участке работы довольно скоро оборачивается полной несостоятельностью на более широком поле, к исследованию которого, казалось бы, поощрял первоначальный успех»[23 - Эти слова Хьюберта Дрейфуса как характерный пример общего скептического отношения к предмету обсуждения приводит в своей статье «Пределы искусственного интеллекта» Джекоб Шварц [Schwartz 1987].]. Частные инвесторы старались держаться на почтительном расстоянии от любых начинаний, имевших малейшее отношение к проблеме искусственного интеллекта. Даже в среде ученых и финансировавших их организаций сам этот термин стал нежелательным[24 - В то время одним из самых неистовых и ярких противников ИИ считался Хьюберт Дрейфус, но и другие критики были не менее знамениты и заметны, например Джон Лукас, Роджер Пенроуз и Джон Сёрл. Дрейфус, опровергая работы ведущих исследователей, главным образом подвергал сомнению практическую пользу, которую сможет принести существовавшая на тот момент парадигма ИИ (причем, похоже, он не исключал появления более удачных концепций). Сёрл, будучи философом, прежде всего интересовался не инструментальными средствами для разработки ИИ, а тем, как решаются проблемы сознания, в частности, с точки зрения теории функциональных систем. Лукас и Пенроуз в принципе отрицали, что в рамках парадигмы классического компьютера можно разработать программное обеспечение, думающее и дышащее лучше живого математика; однако оба допускали и автоматизацию отдельных функций, и создание таких мощных инструментальных средств, которые в конечном счете приведут к появлению ИИ. И хотя Цицерон в трактате «О прорицании» (De divinatione) (Марк Туллий Цицерон. О дивинации. Философский трактат в двух книгах // Марк Туллий Цицерон. Философские трактаты. М.: Наука, 1985.) заметил, что «нет такого абсурда, который нельзя было бы найти в книгах философов» [Cicero. On Divination, 119], как ни странно, мне трудно вспомнить хотя бы одного серьезного ученого и просто мыслящего человека, отрицавшего возможность создания искусственного интеллекта – в том значении этого термина, который используется в настоящей книге.].

Однако технический прогресс не стоял на месте, и к 1990-м годам вторая зима искусственного интеллекта сменилась оттепелью. Всплеску оптимизма способствовало появление новых методов, которые, казалось, придут на смену привычному логическому программированию – обычно его именуют или «старый добрый искусственный интеллект, или «классический искусственный интеллект» (КИИ). Эта традиционная парадигма программирования была основана на высокоуровневой манипуляции символами и достигла своего расцвета в 1980-е годы, в период увлечения экспертными системами. Набиравшие популярность интеллектуальные методы, например, такие как нейронные сети и генетические алгоритмы, подавали надежду, что все-таки удастся преодолеть присущие КИИ недостатки, в частности, его «уязвимость» (машина обычно выдавала полную бессмыслицу, если программист делал хотя бы одно ошибочное предположение). Новые методы отличались лучшей производительностью, поскольку больше опирались на естественный интеллект. Например, нейронные сети обладали таким замечательным свойством, как отказоустойчивость: небольшое нарушение приводило лишь к незначительному снижению работоспособности, а не полной аварии. Еще важнее, что нейронные сети представляли собой самообучающиеся интеллектуальные системы, то есть накапливали опыт, умели делать выводы из обобщенных примеров и находить скрытые статистические образы во вводимых данных[25 - Однако во многих приложениях процесс обучения нейронных сетей несколько отличается от модели линейной регрессии – статистического метода, разработанного в начале XIX века Адриеном-Мари Лежандром и Карлом Фридрихом Гауссом.]. Это делало сети хорошим инструментом для решения задач классификации и распознавания образов. Например, создав определенный набор сигнальных данных, можно было обучить нейронную сеть воспринимать и распознавать акустические особенности подводных лодок, мин и морских обитателей с большей точностью, чем это могли делать специалисты, – причем система справлялась без всяких предварительных выяснений, какие нужно задать параметры, чтобы учитывать и сопоставлять те или иные характеристики.

Хотя простые модели нейронных сетей были известны с конца 1950-х годов, ренессанс в этой области начался после создания метода обратного распространения ошибки, который позволил обучать многослойные нейронные сети[26 - Основной алгоритм был описан в 1969 году Артуром Брайсоном и Юй-Чи Хо как многошаговый метод динамической оптимизации [Bryson, Ho 1969]. Применить его к нейронным сетям предложил в 1974 году Пол Вербос [Werbos 1994], но признание у научного сообщества этот метод получил лишь в 1986 году после работы Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса [Rumelhart et al. 1986].]. Такие многослойные сети, в которых имелся как минимум один промежуточный («скрытый») слой нейронов между слоями ввода и вывода, могут обучиться выполнению гораздо большего количества функций по сравнению с их более простыми предшественниками[27 - Ранее было показано, что функциональность сетей без скрытых слоев серьезно ограничена [Minsky, Papert 1969].]. В сочетании с последним поколением компьютеров, ставших к тому времени намного мощнее и доступнее, эти усовершенствования алгоритма обучения позволили инженерам строить нейронные сети, достаточно успешно решающие практические задачи во многих областях применения.

По своим свойствам и функциональному сходству с биологическим мозгом нейронные сети выгодно отличались от жестко заданной логики

и уязвимости традиционных, основанных на определенных правилах систем КИИ. Контраст оказался настолько сильным, что даже возникла очередная концепция коннективистской модели; сам термин коннективизм[4 - Коннективизм, или коннекционизм (connectionism), – моделирует в сетях мыслительные и поведенческие явления из взаимосвязанных простых элементов; на самом деле понятие коннективизма возникло намного раньше самих искусственных нейронных систем; как подход он применяется не только в области искусственного интеллекта, но и в философии сознания, психологии, когнитивистике.] особенно подчеркивал важность массово-параллельной обработки субсимвольной информации. С тех пор об искусственных нейронных сетях написано более ста пятидесяти тысяч научных работ, а сами сети продолжают оставаться важным методом в области машинного обучения.

Еще одним фактором, приблизившим приход очередной весны искусственного интеллекта, стали генетический алгоритм и генетическое программирование. Эти разновидности методов эволюционных вычислений получили довольно широкую известность, хотя, возможно, с научной точки зрения не приобрели столь большого значения, как нейронные сети. В эволюционных моделях в первую очередь создаются начальные популяции тех или иных решений (могут быть либо структуры данных, либо программы обработки данных), затем – в результате случайной мутации и размножения («скрещивания») имеющихся популяций – генерируются новые популяции. Периодически вследствие применения критерия отбора (по наличию целевой функции, или функции пригодности) количество популяций сокращается, что позволяет войти в новое поколение лишь лучшим решениям-кандидатам. В ходе тысяч итераций среднее качество решений в популяции постепенно повышается. С помощью подобных алгоритмов генерируются самые продуктивные программы, способные ориентироваться в весьма широком круге вопросов; причем отобранные решения иногда на удивление получаются новаторскими и неожиданными, чаще напоминающими естественную систему, нежели смоделированную человеком структуру. Весь процесс может происходить, по сути, без участия человека, за исключением случаев, когда необходимо назначить целевую функцию, которая, в принципе, определяется очень просто. Однако на практике, чтобы эволюционные методы работали хорошо, требуются и профессиональные знания, и талант, особенно при создании понятного формата представления данных. Без эффективного метода кодирования решений-кандидатов (генетического языка, адекватного латентной структуре целевой области) эволюционный процесс, как правило, или бесконечно блуждает в открытом поисковом пространстве, или застревает в локальном оптимуме. Но даже когда найден правильный формат представления, эволюционные вычисления требуют огромных вычислительных мощностей и часто становятся жертвой комбинаторного взрыва.

Такие примеры новых методов, как нейронные сети и генетические алгоритмы, сумели стать альтернативой закосневшей парадигме КИИ и потому вызвали в 1990-е годы новую волну интереса к интеллектуальным системам. Но у меня нет намерений ни воздавать им хвалу, ни возносить на пьедестал в ущерб другим методам машинного обучения. По существу, одним из главных теоретических достижений последних двадцати лет стало ясное понимание, что внешне несходные методы могут считаться особыми случаями в рамках общей математической модели. Скажем, многие типы искусственных нейронных сетей могут рассматриваться как классификаторы, выполняющие определенные статистические вычисления (оценка по максимуму правдоподобия)[28 - См., например: [MacKay 2003].]. Такая точка зрения позволяет сравнивать нейронные сети с более широким классом алгоритмов для обучения классификаторов по примерам – деревья принятия решений, модели логистической регрессии, методы опорных векторов, наивные байесовские классификаторы, методы ближайшего соседа[29 - См.: [Murphy 2012].]. Точно так же можно считать, что генетические алгоритмы выполняют локальный стохастический поиск с восхождением к вершине, который, в свою очередь, является подмножеством более широкого класса алгоритмов оптимизации. Каждый из этих алгоритмов построения классификаторов или поиска в пространстве решений имеет свой собственный набор сильных и слабых сторон, которые могут быть изучены математически. Алгоритмы различаются требованиями ко времени вычислений и объему памяти, предполагаемыми областями применения, легкостью, с которой в них может быть включен созданный вовне контент, а также тем, насколько прозрачен для специалистов механизм их работы.

За суматохой машинного обучения и творческого решения задач скрывается набор хорошо понятных математических компромиссов. Вершиной является идеальный байесовский наблюдатель, то есть тот, кто использует доступную ему информацию оптимальным с вероятностной точки зрения способом. Однако эта вершина недостижима, поскольку требует слишком больших вычислительных ресурсов при реализации на реальном компьютере (см. врезку 1). Таким образом, можно смотреть на искусственный интеллект как на поиск коротких путей, то есть как на способ приблизиться к байесовскому идеалу на приемлемое расстояние, пожертвовав некоторой оптимальностью или универсальностью, но при этом сохранив довольно высокий уровень производительности в интересующей исследователя области.

Отражение этой картины можно увидеть в работах, выполненных в последние двадцать лет на графовых вероятностных моделях, таких как байесовские сети. Байесовские сети являются способом сжатого представления вероятностных и условно независимых отношений, характерных для определенной области. (Использование таких независимых отношений критически важно для решения проблемы комбинаторного взрыва, столь же важной в случае вероятностного вывода, как и при логической дедукции.) Кроме того, они стали значимым инструментом для понимания концепции причинности[30 - См.: [Pearl 2009].].

Врезка 1. Оптимальный байесовский агент

Идеальный байесовский агент начинается с задания «априорного распределения вероятности», то есть функции, приписывающей определенную вероятность всем «возможным мирам» – иначе говоря, результатам всех сценариев, по которым может меняться мир[31 - Мы сознательно опускаем различные технические подробности, чтобы не перегружать повествование. К некоторым из них будет возможность вернуться в главе 12.]. Априорное распределение вероятности включает в себя индуктивное смещение, то есть более простым возможным мирам присваивается более высокая вероятность. (Один из способов формально определить простоту возможного мира – использовать показатель колмогоровской сложности, основанный на длине максимально короткой компьютерной программы, генерирующей полное описание этого мира[32 - Программа p генерирует полное описание строки x, если p, запущенная на (некоторой) универсальной машине Тьюринга U, выдает x; это можно записать как U(p) = x. (Здесь строка x представляет любой возможный мир.) Тогда колмогоровская сложность x равна K(x) = minp {l(p): U(p) = x}, где l(p) это длина p в битах.

Соломоновская вероятность x определяется как

, где сумма задана над всеми («минимальными», то есть не обязательно останавливающимися) программами p, для которых U выдает строку, начинающуюся с x; см.: [Hutter 2005].].) При этом в априорном распределении вероятности учитываются любые знания, которые программисты желают передать агенту.

После того как агент получает со своих сенсоров новую информацию, он меняет распределение вероятности, «обусловливая» распределение с учетом этой новой информации в соответствии с теоремой Байеса[33 - Байесово обусловливание с учетом свидетельства Е дает (вероятность утверждения [например, Е] есть сумма вероятностей возможных миров, в которых это утверждение истинно.)]. Обусловливание – это математическая операция, которая заключается в присвоении нулевых значений вероятности тем мирам, которые не согласуются с полученной информацией, и нормализации распределения вероятности оставшихся возможных миров. Результатом становится «апостериорное распределение вероятности» (которое агент может использовать в качестве априорного на следующем шаге). По мере того как агент проводит свои наблюдения, распределение вероятности концентрируется на все сильнее сжимающемся наборе возможных миров, которые согласуются с полученными свидетельствами; и среди этих возможных миров наибольшую вероятность всегда имеют самые простые.

Образно говоря, вероятность похожа на песок, рассыпанный на большом листе бумаги. Лист разделен на области различного размера, каждая из которых соответствует одному из возможных миров, причем области большей площади эквивалентны более простым мирам. Представьте также слой песка или любого порошка, покрывающего бумагу, – это и есть наше априорное распределение вероятности. Когда проводится наблюдение, в результате которого исключаются какие-то из возможных миров, мы убираем песок из соответствующих областей и распределяем его равномерно по областям, «остающимся в игре». Таким образом, общее количество песка на листе остается неизменным, просто по мере накопления наблюдений он концентрируется во все меньшем количестве областей. Здесь представлено описание обучения в его самом чистом виде. (Чтобы рассчитать вероятность гипотезы, мы просто измеряем количество песка во всех областях, соответствующих возможным мирам, в которых эта гипотеза истинна.)

Итак, мы определили правило обучения. Чтобы получить агента, нам потребуется также правило принятия решений. Для этого мы наделяем агента «функцией полезности», которая присваивает каждому возможному миру определенное число. Это число представляет собой желательность соответствующего мира с точки зрения базовых предпочтений агента[34 - Или случайным образом выбирает одно из возможных действий с максимальной ожидаемой полезностью, если их несколько.]. (Чтобы выявить действие с максимальной ожидаемой полезностью, агент мог бы составить список всех возможных действий. А затем рассчитать условное распределение вероятности с учетом каждого действия – то есть распределение вероятности, которое стало бы следствием обусловливания текущего распределения вероятности после наблюдения за результатами этого действия. И наконец, рассчитать ожидаемую ценность действия можно как сумму ценностей всех возможных миров, умноженных на условную вероятность этих миров с учетом осуществления действия[35 - Более сжато ожидаемая полезность действия может быть записана как

, где сумма берется по всем возможным мирам.].)

Правило обучения и правило принятия решений задают «определение оптимальности» агента. (В сущности такое же определение оптимальности широко используется в искусственном интеллекте, эпистемологии, философии науки, экономике и статистике[36 - См., например: [Howson, Urbach 1993; Bernardo, Smith 1994; Russell, Norvig 2010].].) В реальном мире такого агента получить невозможно, поскольку для проведения необходимых расчетов не хватит никаких вычислительных мощностей. Любая попытка сделать это приводит к комбинаторному взрыву вроде описанного нами при обсуждении КИИ. Чтобы представить это, рассмотрим крошечное подмножество всех возможных миров, состоящее из единственного компьютерного монитора, висящего в бесконечном пустом пространстве. Разрешение монитора – 1000 ? 1000 пикселей, каждый из которых постоянно или светится, или нет. Даже такое подмножество всех возможных миров невероятно велико: количество возможных состояний монитора, равное 2(1000 ? 1000), превосходит объем всех вычислений, которые когда-либо будут выполнены в обозримой Вселенной. То есть мы не можем даже просто пронумеровать возможные миры в этом небольшом подмножестве всех возможных миров, не говоря уже о том, чтобы провести какие-то более сложные расчеты по каждому из них.

Но определение оптимальности может иметь теоретический интерес, даже несмотря на невозможность его физической реализации. Он представляет собой стандарт, с которым можно соотносить эвристические аппроксимации и который иногда позволяет нам судить, как именно поступил бы оптимальный агент в той или иной ситуации. С некоторыми альтернативными определениями оптимальности мы еще встретимся в двенадцатой главе.

Одно из преимуществ связи задачи обучения в определенных областях с общей задачей байесовского вывода состоит в том, что эти новые алгоритмы, делающие байесовский вывод более эффективным, немедленно приводят к прогрессу во множестве различных областей. Например, метод Монте-Карло непосредственно применяется в машинном зрении, робототехнике и вычислительной генетике. Еще одно преимущество заключается в том, что исследователям, работающим в различных областях, стало проще объединять результаты своих изысканий. Графовые модели и байесовские статистики представляют собой общий фокус исследований в таких областях, как машинное обучение, статистическая физика, биоинформатика, комбинаторная оптимизация и теория коммуникации[37 - См.: [Wainwright, Jordan 2008]. У байесовских сетей бесчисленное количество областей применения; см., например: [Pourret et al. 2008].]. Заметный прогресс в машинном обучении стал следствием использования формальных результатов, изначально полученных в других областях науки. (Конечно, машинное обучение значительно выиграло от появления более быстрых компьютеров и доступности больших наборов данных.)

Последние достижения

Во многих областях деятельности уровень искусственного интеллекта уже превосходит уровень человеческого. Появились системы, способные не только вести логические игры, но и одерживать победы над людьми. Приведенная в табл. 1 информация об отдельных игровых программах демонстрирует, как разнообразные виды ИИ побеждают чемпионов многих турниров[38 - Возможно, некоторые читатели, сочтя это направление не слишком серьезным, зададут вопрос: зачем уделять столь пристальное внимание компьютерным играм? Дело в том, что игровые интеллектуальные системы, пожалуй, дают самое наглядное представление о сравнительных возможностях человека и машины.].

Таблица 1. Игровые программы с искусственным интеллектом

Шашки. Уровень интеллекта выше

человеческого.

Компьютерная игра в шашки, написанная в 1952 году Артуром Самуэлем и усовершенствованная им в 1955 году (версия включала модуль машинного обучения), стала первой интеллектуальной программой, которая в будущем научится играть лучше своего создателя[39 - См.: [Samuel 1959; Schaeffer 1997, ch. 6].]. Программа «Чинук» (CHINOOK), созданная в 1989 году группой Джонатана Шеффера, сумела в 1994 году обыграть действующего чемпиона мира – первый случай, когда машина стала победителем в официальном чемпионате мира. Те же разработчики, использовав алгоритм поиска «альфа-бета отсечение» в базе данных для 39 трлн эндшпилей, представили в 2002 году оптимальную версию игры в шашки – это программа, всегда выбирающая лучший из ходов. Правильные ходы обеих сторон приводят к ничьей[40 - См.: [Schaeffer et al. 2007].]

Нарды. Уровень интеллекта выше человеческого.

Компьютерная игра в нарды, созданная в 1970 году Хансом Берлинером и названная им BKG, в 1979 году стала первой интеллектуальной программой, обыгравшей чемпиона мира в показательном матче – хотя впоследствии сам Берлинер приписывал эту победу удачно брошенным костям[41 - См.: [Berliner 1980 a; Berliner 1980 b].].

Созданная в 1991 году Джералдом Тезауро программа TD-Gammon уже в 1992 году достигла такого уровня мастерства, что могла сразиться на чемпионате мира. Ради самосовершенствования программа постоянно играла сама с собой, причем Тезауро использовал такую форму укрепляющего обучения, как метод временных различий[42 - См.: [Tesauro 1995].].

С тех пор программы для игры в нарды по своему уровню в значительной степени превосходили лучших игроков мира[43 - В частности, такие программы по игре в нарды, как GNU [Silver 2006] и Snowie [Gammoned.net (http://gammoned.net/), 2012].]

«Эвриско» в космической битве Traveller TCS. Уровень интеллекта выше человеческого в сотрудничестве с самим человеком[44 - Процессом создания космического флота и битвами руководил сам Дуглас Ленат, написавший по этому поводу: «Итак, победа стала заслугой и Лената, и Eurisco – в пропорции 60: 40. Основной момент тем не менее состоит в том, что в одиночку ни я, ни программа никогда не справились бы» [Lenat 1983, p. 80].].

Дугласом Ленатом в 1976 году была создана программа «Эвриско» (Eurisco), представлявшая собой набор эвристических, то есть логических, правил («если – то»). В течение двух лет (1981, 1982) эта экспертная система выигрывала чемпионат США по фантастической игре Traveller TCS (межгалактическое сражение); организаторы даже меняли правила игры, но ничто не могло остановить победного шествия «Эвриско», в результате они приняли решение больше не допускать «Эвриско» к участию в чемпионате[45 - См.: [Lenat 1982; Lenat 1983].]. Для построения своего космического флота и сражения с кораблями противника «Эвриско» использовала эвристические правила, которые – в процессе самообучения – корректировала и улучшала при помощи других эвристических правил

Реверси («Отелло»). Уровень интеллекта выше человеческого.

Программа для игры в реверси Logistello выиграла в 1997 году подряд шесть партий у чемпиона мира Такэси Мураками[46 - См.: [Cirasella, Kopec 2006].]

Шахматы. Уровень интеллекта выше человеческого.

Шахматный суперкомпьютер Deep Blue в 1997 году выиграл у чемпиона мира Гарри Каспарова, Каспаров, хотя и имел претензии к создателям машины, все-таки заметил в ее игре проблески истинного разума и творческого подхода[47 - См.: [Kasparov 1996, p. 55].]. С тех пор игровые шахматные программы продолжают совершенствоваться[48 - См.: [Newborn 2011].]

Кроссворды. Профессиональный уровень.

Программа Proverb в 1999 году стала лучшей среди программ для решения кроссвордов среднего уровня[49 - См.: [Keim et al. 1999].].

Созданная в 2012 году Мэттом Гинзбергом программа Dr. Fill вошла в группу лучших участников чемпионата США по кроссвордам. (Показатели программы не были стабильными. Dr. Fill идеально справилась с кроссвордами, считавшимися наиболее сложными среди участников-людей, но оказалась бессильна перед нестандартными, в которых встречались слова, написанные задом наперед, и вопросы, расположенные по диагонали[50 - См.: [Armstrong 2012].].)

«Скрабл» («Эрудит»). Уровень интеллекта выше человеческого.

По состоянию на 2002 год программы для игры в слова превосходят лучших игроков среди людей[51 - См.: [Sheppard 2002].]

Бридж. Уровень интеллекта не уступает уровню лучших игроков

Программы для игры в бридж «Контракт» к 2005 году достигли уровня профессионализма лучших игроков среди людей[52 - См.: [Wikipedia, 2012 a].]

Суперкомпьютер IBM Watson в телепередаче Jeopardy!. Уровень интеллекта выше человеческого.

IBM Watson, созданный в IBM суперкомпьютер с системой ИИ, в 2010 году обыграл Кена Дженнингса и Брэда Раттера – двух рекордсменов Jeopardy![53 - См.: [Markoff 2011].]. Jeopardy! – телевизионная игра-викторина с простыми вопросами из области истории, литературы, спорта, географии, массовой культуры, науки и проч. Вопросы задаются в виде подсказок, при этом часто используется игра слов

Покер. Уровень разный.

Игровые программы для покера на сегодняшний день несколько уступают лучшим игрокам в техасский холдем (популярная разновидность покера), но превосходят людей в некоторых других разновидностях игры[54 - См.: [Rubin, Watson 2011].]

Пасьянс «Свободная ячейка» («Солитер»). Уровень интеллекта выше человеческого.

Развитие эвристических алгоритмов привело к созданию программы для пасьянса «Свободная ячейка» (Free Cell), которая оказалась сильнее игроков самого высокого уровня[55 - См.: [Elyasaf et al. 2011].]. В своей обобщенной форме эта игровая программа является NP-полной задачей.

Го. Уровень сильного игрока-любителя.

По состоянию на 2012 год серия программ для игры в го «Дзен» (Zen) использовав дерево поиска методом Монте-Карло и технологии машинного обучения – получила шестой дан (разряд) в быстрых играх[56 - См.: [KGS, 2012].]. Это уровень весьма сильного любителя. В последние годы игровые программы го совершенствуются со скоростью примерно один дан в год. Если этот темп развития сохранится, то, скорее всего, через десять лет они превзойдут чемпиона мира среди людей

Вряд ли сегодня данные факты смогут произвести хоть какое-то впечатление. Но это обусловлено тем, что наши представления о стандартах несколько смещены, поскольку мы уже знакомы с теми выдающимися достижениями, которые появились после описываемых событий. В прежние времена, например, профессиональное умение шахматиста считалось высшим проявлением умственной деятельности человека. Некоторые специалисты конца 1950-х годов считали: «Если когда-нибудь получится создать удачную машину для игры в шахматы, возможно, люди постигнут суть своих интеллектуальных усилий»[57 - См.: [Newell et al. 1958, p. 320].]. В наше время все выглядит иначе. Остается лишь согласиться с Джоном Маккарти, когда-то посетовавшим, что «стоит системе нормально начать работать, как ее сразу перестают называть искусственным интеллектом»[58 - См.: [Vardi 2012].].

Однако появление интеллектуальных шахматных систем не обернулось тем торжеством разума, на которое многие рассчитывали, – и это имело определенное объяснение. По мнению ученых того времени – мнению, наверное, небезосновательному, – компьютер станет играть в шахматы наравне с гроссмейстерами, только когда будет наделен высоким общимуровнем интеллектуального развития[59 - Ирвинг

Гуд предполагал в 1976 году:Появление программного обеспечения, не уступающего по своему потенциалу гроссмейстерскому уровню, будет означать, что мы уже стоим на пороге <создания искусственного сверхразума. – Н. Б.> [Good 1976].Даглас Хофштадтер писал в 1979 году в книге «Гёдель, Эшер, Бах», за которую в 1980-м он получит Пулитцеровскую премию:Вопрос: Будут ли такие шахматные программы, которые смогут выиграть у кого угодно?Возможный ответ: Нет. Могут быть созданы программы, которые смогут обыгрывать кого угодно, но они не будут исключительно шахматными программами. Они будут программами общего разума и, так же как люди, они будут обладать характером. «Хотите сыграть партию в шахматы?» – «Нет, шахматы мне уже надоели. Лучше давайте поговорим о поэзии…» (Даглас Хофштадтер. Гёдель, Эшер, Бах. Эта бесконечная гирлянда / Пер. с англ. М. А. Эскиной. Самара: Издательский дом «Бахрах-М», 2001. С. 635.) [Hofstadter 1999, p. 678].]. Казалось бы, великий шахматист должен соответствовать немалым требованиям: иметь крепкую теоретическую подготовку; быть способным оперировать абстрактными понятиями; стратегически мыслить и разумно действовать; заранее выстраивать хитроумные комбинации; обладать дедуктивным мышлением и даже уметь моделировать ход мысли противника. Отнюдь. Выяснилось, что достаточно разработать идеальную шахматную программу на основе алгоритма с узкоцелевым назначением[60 - Минимаксный алгоритм поиска с альфа-бета отсечениями использовался совместно со специфической для шахмат функцией эвристической оценки позиций – это дало в сочетании с удачной библиотекой дебютов и эндшпилей, а также другими хитростями, очень сильную шахматную программу.]. Если программу поставить на быстродействующий процессор – а скоростные компьютеры стали доступны уже в конце XX века, – то она демонстрирует весьма сильную игру. Однако подобный искусственный интеллект слишком однобок. Он ничего другого не умеет, кроме как играть в шахматы[61 - Впрочем, учитывая достижения в изучении оценочной эвристики в ходе моделирования, многие базовые алгоритмы могли бы хорошо проявить себя в большом количестве других игр.].

В других случаях изучения и применения искусственного интеллекта выявились проблемы более сложногопорядка, чем ожидалось, поэтому и развитие шло значительно медленнее. Профессор Дональд Кнут, крупнейший специалист в области программирования и вычислительной математики, с удивлением заметил: «Искусственный интеллект, преуспев сегодня во всем, где требуется “разум”, неспособен на те действия, которые люди и животные совершают “бездумно”, – эта задача оказалась гораздо труднее!»[62 - См.: [Nilsson 2009, p. 318]. Конечно, Кнут несколько преувеличил успехи машинного разума. Все-таки есть еще интеллектуальные задачи, в которых ИИ не преуспел; например, остаются «непродуманными» такие аспекты, как открытие новых направлений в чистой математике, придумывание свежих философских концепций, создание циклов детективных романов, организация военного переворота, разработка очень нужного и инновационного товара широкого потребления.] Затруднения вызывала, например, разработка системы управления поведением роботов, а также такие их функции, как распознавание зрительных образов и анализ объектов при взаимодействии с окружающей средой. Тем не менее и сделано было немало, и продолжает поныне делаться, причем работа идет не только над развитием программного обеспечения – постоянно совершенствуются аппаратные средства.

В один ряд с исследованием инстинктивного поведения можно поставить логику здравого смысла и понимание естественных языков – явления, которые тоже оказались не самыми легкими для систем искусственного интеллекта. Сейчас принято считать, что решение подобных проблем на уровне, сопоставимом с человеческим, является AI-полной задачей[5 - AI-полная задача (где AI – artificial intelligence («искусственный интеллект»)) неформальный термин, который применяется в теории ИИ по аналогии с NP-полным классом задач. По существу означает задачу создания искусственного интеллекта человеческого уровня.] – то есть их сложность эквивалентна трудности разработки машин, таких же умных и развитых, как люди[63 - См.: [Shapiro 1992].]. Иными словами, если кто-то добьется успеха в создании ИИ, способного понимать естественный язык так же, как понимает его взрослый человек, то, скорее всего, он или уже создал ИИ, который может делать все, на что способен человеческий разум, или будет находиться в шаге от его создания[64 - Можно только предполагать, почему машине трудно достичь человеческого уровня в восприятии окружающей действительности, регуляции двигательных функций, здравом смысле и понимании языка. Одна из причин заключается в том, что в нашем мозгу имеется специальный механизм, управляющий этими свойствами, – достигшие в процессе эволюции совершенства нейронные структуры. Логическое мышление и навыки вроде игры в шахматы, в отличие от перечисленных выше способностей, не столь естественны, и потому при решении этих задач мы вынуждены полагаться на ограниченные когнитивные ресурсы общего назначения. Возможно, для вычислений и явно выраженных логических рассуждений наш мозг запускает что-то похожее на «виртуальную машину» – медленный и громоздкий психический симулятор универсального компьютера. Если наше предположение верно, то тогда получается забавная вещь: не КИИ моделирует человеческое мышление, а как раз наоборот – логически мыслящий человек симулирует программу ИИ.].

Высокий уровень игры в шахматы, как оказалось, достижим с помощью исключительно простого алгоритма. Возникает соблазн считать, будто и другие способности, например общее умение осмысливать или некоторые основные навыки программирования, можно также обеспечить за счет некоего удивительно несложного алгоритма. То обстоятельство, что в определенный момент оптимальная продуктивность достигается в результате применения сложного механизма, вовсе не означает, что ни один простой механизм не способен делать ту же работу так же хорошо и даже лучше. Птолемеева система мира (в центре Вселенной находится неподвижная Земля, а вокруг нее вращаются Солнце, Луна, планеты и звезды) выражала представление науки об устройстве мироздания на протяжении тысячи лет. Чтобы лучше объяснять характер движения небесных тел, ученые от века к веку усложняли модель системы, добавляя все новые и новые эпициклы, за счет чего повышалась точность ее прогнозов. Пришло время, и на смену геоцентрической пришла гелиоцентрическая система мира; теория Коперника была намного проще, а после доработки ее Кеплером стала и прогностически более точной[65 - Надо заметить, что по мнению меньшинства, представленного приблизительно 20 % взрослого населения США, Солнце «продолжает» вращаться вокруг Земли, – подобная картина наблюдается и в других развитых странах [Crabtree 1999; Dean 2005].].

В современном мире методы искусственного интеллекта используют столь широко, что вряд ли целесообразно рассматривать здесь все области их применения, но некоторые стоит упомянуть, чтобы дать общее представление о масштабе распространения самой

идеи. Помимо представленных в табл. 1 логических игровых программ, сегодня разрабатывают: слуховые аппараты на базе алгоритмов, отфильтровывающих фоновый шум; навигационные системы, отображающие карты и подсказывающие маршрут водителям; рекомендательные системы, предлагающие книги и музыкальные альбомы пользователям на основе анализа их предыдущих покупок и оценок; системы поддержки принятия медицинских решений, помогающие врачам, например, диагностировать рак молочной железы, подбирать варианты лечения и расшифровывать электрокардиограммы. В настоящее время, кроме промышленных роботов, которых уже больше миллиона, появились самые разные роботы-помощники: домашние питомцы; пылесосы; газонокосильщики; спасатели; хирурги[66 - См.: [World Robotics 2011].]. Общая численность роботов в мире превысила десять миллионов[67 - По оценке, взятой из работы: [Guizzo 2010].].

Современные системы распознавания речи, основанные на статистических методах вроде скрытых марковских моделей, являются довольно точными для практического использования (с их помощью были созданы некоторые начальные фрагменты этой книги). Персональные цифровые помощники (например, Siri – приложение Apple) реагируют на голосовые команды, могут отвечать на простые вопросы и выполнять распоряжения. Повсеместно распространено оптическое распознавание рукописного и машинописного текста – на нем основаны, в частности, приложения для сортировки почты и оцифровки исторических документов[68 - См.: [Holley 2009].].

До сих пор остаются несовершенными системы машинного перевода, тем не менее для определенных целей они вполне пригодны. На стадии ранних версий, в которых использовался метод КИИ и которые основывались на правилах, был создан принцип кодировки в ручном режиме для грамматик всех естественных языков – причем работа проводилась силами самых высококвалифицированных лингвистов. Новые системы основаны на статистических методах машинного обучения, которые автоматически выстраивают статистические модели на основе наблюдаемых ими закономерностей использования слов и фраз. Программы выводят параметры этих моделей, анализируя корпус текстов на двух языках. Такой подход позволяет не привлекать лингвистов, а программисты, разрабатывающие эти системы, могут даже не владеть языками, с которыми им приходится иметь дело[69 - Кроме того, есть гибридные подходы, основанные как на статистике, так и на правилах, но в наше время они не представляют никакого интереса.].

Системы распознавания лиц за последнее время были настолько усовершенствованы, что сейчас ими успешно пользуются пограничные службы в Европе и Австралии. Автоматическая идентификационная система работает в Госдепартаменте США, с ее помощью в процессе выдачи виз обрабатывается более семидесяти пяти миллионов фотографий в год. В системах наблюдения применяются все более совершенные методы ИИ и новейшие технологии по извлечению информации, с помощью которых проводят интеллектуальный анализ речевых, текстовых и видеоматериалов – основная часть их привлекается из общемировых коммуникационных сетей и гигантских центров сбора и обработки данных.

Автоматическое доказательство теорем и решение уравнений стало настолько общим местом, что уже не воспринимается как разработка искусственного интеллекта. Устройства для решения уравнений встроены в научные компьютерные программы, например систему Mathematica. Формальные методы проверки, в том числе системы автоматического доказательства теорем, повсеместно используются производителями микропроцессоров для проверки поведения схемы перед запуском в производство.

Американскими военными и разведывательными ведомствами широко и успешно внедряются так называемые боевые роботы – саперы для нахождения и обезвреживания бомб и мин; беспилотные летательные аппараты, предназначенные как для разведки, так и для боевых действий; другие автоматические виды вооружений. Сегодня эти устройства в основном управляются дистанционно операторами-специалистами, однако неустанно ведется работа над расширением их автономной деятельности.

Большой успех достигнут в области интеллектуального планирования и снабжения. В ходе операции «Буря в пустыне» в 1991 году была развернута система DART для обеспечения автоматизированного планирования поставок и составления графиков перевозок. Программа оказалась исключительно эффективной: по сводкам Агентства по перспективным оборонным научно-исследовательским разработкам США (Defense Advanced Research Projects Agency in the United States, DARPA), она одна окупила тридцатилетнее финансирование Министерством обороны работ в области ИИ[70 - См.: [Cross, Walker 1994; Hedberg 2002].]. Сложные программы календарного планирования и тарификации используются для систем бронирования авиабилетов. Компании активно применяют самые разные методы ИИ для контроля складских запасов. Автоматические системы телефонного бронирования и линии поддержки, соединенные с программами распознавания речи, способны провести несчастного потребителя через лабиринт взаимосвязанных вариантов выбора.

Технологии искусственного интеллекта лежат в основе многих интернет-сервисов. Общемировой трафик электронной почты проверяется специальным программным обеспечением – причем байесовская фильтрация спама, несмотря на постоянные усилия спамеров приспособиться и обойти защиту, в основном справляется с задачей и держит оборону. Электронные программы, используя компоненты ИИ, обеспечивают безопасность операций по банковским картам: отвечают за их автоматическое одобрение или отклонение и постоянно отслеживают действия по счету с целью обнаружить малейшие признаки мошенничества. Системы поиска информации также активно используют машинное обучение. А поисковая система Google, без сомнения, представляет собой величайшую из когда-либо созданных систем искусственного интеллекта.

Здесь стоит подчеркнуть, что граница между искусственным интеллектом и обычным программным обеспечением определена не очень четко. Некоторые из перечисленных выше программ могли бы скорее считаться приложениями многофункциональных программных обеспечений, нежели интеллектуальными системами, – тут невольно снова вспомнишь слова Маккарти, что «стоит системе нормально начать работать, как ее сразу перестают называть искусственным интеллектом». Для наших целей важнее обратить внимание на другое различие: есть системы, у которых имеется ограниченный набор когнитивных способностей (неважно, относятся они к ИИ или нет), и есть системы, обладающие широкоприменимыми инструментами для решения общих задач. В основном все используемые сейчас системы относятся к первому типу – узкодиапазонному. Однако многие из них содержат компоненты, способные либо сыграть роль в создании будущего искусственного интеллекта, который будет отличаться развитым общим уровнем развития, либо стать его частью, – это такие компоненты, как классификаторы, алгоритмы поиска, модули планирования, решатели задач и схемы представлений.

Системы искусственного интеллекта качественно работают еще в одной области, где ставки очень высоки,

а конкуренция слишком жестока, – это мировой финансовый рынок. Автоматизированные системы торговли акциями широко используются крупными инвестиционными банками. И хотя некоторые из них всего лишь дают возможность автоматизировать исполнение заказов на покупку и продажу, выставленных управляющей компанией, другие реализуют сложные торговые стратегии, способные приспосабливаться к меняющимся условиям рынка. Чтобы изучать закономерности и тенденции фондового рынка, определять зависимость динамики котировок от внешних переменных, таких как, например, ключевые позиции в сводках финансовых новостей, – для всего этого в аналитических системах используется большой набор методик интеллектуального анализа данных и временных последовательностей. Новые потоковые котировки, выпускаемые агентствами финансовой информации, специально отформатированы под интеллектуальные автоматизированные системы. Другие системы специализируются на поиске возможностей совершать арбитражные операции либо на определенном рынке ценных бумаг, либо одновременно на нескольких рынках, либо с помощью алгоритмического высокочастотного трейдинга[6 - Алгоритмический высокочастотный трейдинг, или алгоритмическая высокочастотная торговля (algorithmic high-frequency trading), – формализованный процесс совершения торговых операций на финансовых рынках по заданному алгоритму с использованием специализированных компьютерных систем (торговых роботов).], целью которого является получение прибыли на незначительных колебаниях цен в пределах нескольких милисекунд (на таких временных интервалах начинают играть роль задержки в поступлении информации даже в оптоволоконных сетях, где она распространяется со скоростью света, и преимущество получают те, чьи компьютеры находятся в непосредственной близости от биржи). На долю алгоритмических высокочастотных трейдингов приходится более половины оборота фондового рынка США[71 - По сообщенным мне в частном порядке статистическим данным TABB Group – компании, специализирующейся на анализе рынка капиталов; ее офисы находятся в Нью-Йорке и Лодоне.]. Существует мнение, что ответственность за так называемый мгновенный обвал фондовых индексов 6 мая 2010 года лежит именно на алгоритмической торговле (см. врезку 2).

Врезка 2. «Мгновенный обвал» 2010 года

К полудню 6 мая 2010 года американский фондовый рынок уже упал на 4 % на беспокойстве по поводу европейского долгового кризиса. Крупный игрок (группа взаимных фондов) инициировал в 14:32 алгоритм продажи для реализации большого количества фьючерсных контрактов E-Mini S&P 500 по цене, привязанной к показателю изменения ликвидности биржевых торгов. Эти контракты, приобретенные с помощью алгоритмических высокочастотных трейдингов, были запрограммированы быстро закрывать свои временные длинные позиции путем продажи контрактов другим игрокам. Поскольку спрос со стороны инвесторов, ориентирующихся на фундаментальные показатели, снизился, игроки алгоритмического трейдинга начали продавать фьючерсы E-Mini другим игрокам алгоритмического трейдинга, которые, в свою очередь, продавали их третьим таким же игрокам, создавая, таким образом, эффект «горячей картошки», которую пытаются «скинуть» как можно быстрее, – этот эффект раздувал объемы торгов, что было интерпретировано алгоритмом продажи как показатель высокой ликвидности. Поскольку игроки начали еще быстрее сбрасывать друг другу E-Mini, на фондовом рынке возник настоящий порочный круг. В какой-то момент игроки начали просто выводить средства, еще больше повышая ликвидность на фоне продолжающегося падения цен. Сделки по E-Mini были приостановлены в 14:45 автоматическим прерывателем – специальной программой, контролирующей неожиданное и чрезмерное движение цен акций на бирже. Буквально через пять секунд торги возобновились, при этом цены стабилизировались и вскоре отыграли большую часть падения. Но в течение этих критических минут с рынка был «смыт» триллион долларов, поскольку значительное число сделок прошло по абсурдным ценам: акция могла продаваться и за один цент, и за 100 тысяч долларов. После того как торги закончились, состоялась встреча представителей бирж и регулирующих органов, на которой было принято решение отменить все сделки, исполненные по ценам, отличающимся от докризисного уровня на 60 % и более. Договаривающиеся стороны сочли эти цены «явно ошибочными», а потому – в соответствии с существующими биржевыми правилами – подлежащими отмене задним числом)[72 - См.: [CFTC/SEC Report on May 6, 2010]; другую точку зрения на события 6 мая 2010 года см.: [CME Group, 2010] (CFTC (Commodity Futures Trading Commission) Комиссия по срочной биржевой торговле; SEC (Securities and Exchange Commission) Комиссия по ценным бумагам и биржам; CME Group – Группа Чикагской товарной биржи, крупнейший североамериканский рынок ценных бумаг, созданный в результате объединения ведущих нью-йоркских и чикагских бирж.).].

Изложенный сюжет представляет собой безусловное отступление от темы нашей книги, поскольку компьютерные программы, якобы ответственные за те минуты финансового кризиса, получившего название «мгновенный обвал», не были ни особенно интеллектуальными, ни слишком изощренными. Специфика созданной ими опасности принципиально отличается от характера угрозы, которую несет в себе появление искусственного сверхразума. Тем не менее из описанных событий можно вынести несколько полезных уроков.

Первое предупреждение. Взаимодействие нескольких простых компонентов (например, алгоритмы продаж и алгоритмическая высокочастотная торговля) может приводить к сложным и непредсказуемым последствиям. Если добавлять в налаженную систему новые элементы, возникают системные риски, не слишком очевидные до момента, когда что-то пойдет не так (да и то не всегда)[73 - Мне не хотелось бы, чтобы это воспринималось как аргумент против алгоритмического высокочастотного трейдинга, который вполне способен играть полезную роль, повышая ликвидность и эффективность рынка.].

Второе предупреждение. Несмотря на то что специалисты в области искусственного интеллекта обучают программу на основании предположений, кажущихся здравыми и логичными (например, объем торгов является верным показателем ликвидности рынка), это может приводить к катастрофическим результатам. В непредвиденных обстоятельствах, когда исходные допущения оказываются неверными, программа с железобетонной логической стойкостью продолжает поступать в соответствии с полученными инструкциями. Алгоритм «тупо» делает свою обычную работу, которую делал всегда, и его совсем не беспокоит – если он, конечно, не принадлежит к редчайшей разновидности алгоритмов, – что мы хватаемся за голову в ужасе от абсурдности его действий. К этой теме мы еще вернемся.

Третье предупреждение. Несомненно, автоматизация процесса внесла свой вклад в возникновение инцидента, однако, без всяких сомнений, она также способствовала и разрешению проблемы. Программа контроля, отвечавшая за приостановку торгов в случае слишком большого отклонения цен от нормального уровня, сработала автоматически, поскольку ее создатели справедливо предполагали,

что события, которые приводят к такому отклонению, могут происходить на временных интервалах, слишком коротких, чтобы на них успели отреагировать люди. Налицо потребность не полагаться во всем на контроль со стороны человека, а иметь в качестве подстраховки заранее разработанные и автоматически исполняемые алгоритмы безопасности. Кстати, это наблюдение предваряет тему, крайне важную в нашем последующем обсуждении машинного сверхразума[74 - Менее масштабное потрясение случилось на фондовом рынке 1 августа 2012 года, отчасти причиной стало то обстоятельство, что автоматический прерыватель не был запрограммирован приостанавливать торги в случае резких изменений в количестве обращаемых акций, см.: [Popper 2012]. Это затрагивает еще одну нашу тему: трудно предусмотреть все возможные варианты, когда стандартная ситуация, которая держится на хорошо продуманных принципах, вдруг выходит из-под контроля.].

Будущее искусственного интеллекта – мнение специалистов

Успех, достигнутый на двух магистральных направлениях: во-первых, создание более прочного статистического и информационно-теоретического основания для машинного обучения; во-вторых, практическая и коммерческая эффективность различных конкретных приложений, узкоспециальных с точки зрения решаемых проблем и областей применения, – привел к тому, что пошатнувшийся было престиж исследований искусственного интеллекта удалось несколько восстановить. Но, похоже, у научного сообщества, имеющего отношение к этой теме, от прошлых неудач остался довольно горький опыт, вынуждающий многих ведущих исследователей отказываться от собственных устремлений и больших задач. Поэтому один из основателей направления Нильс Нильсон укоряет своих нынешних коллег в отсутствии той творческой дерзости, которая отличала поколение первопроходцев:

Соображение «благопристойности», на мой взгляд, оказывает дурное влияние на некоторых исследователей, выхолащивая саму идею искусственного интеллекта. Я будто слышу, как они говорят: «ИИ критиковали за отсутствие результатов. Теперь, добившись видимого успеха, мы не хотим рисковать собственной репутацией». Подобная осмотрительность приведет к тому, что все интересы ученых будут ограничены созданием программ, предназначенных предоставлять помощь человеку в его в интеллектуальной деятельности, то есть уровнем, который мы называем «слабый ИИ». Это неизбежно отвлечет их от усилий реализовать машинный аналог человеческого разума – то есть то, что мы называем «сильный ИИ»[75 - См.: [Nilsson 2009, p. 319].].

Нильсону вторят такие патриархи, как Марвин Мински, Джон Маккарти и Патрик Уинстон[76 - См.: [Minsky 2006; McCarthy 2007; Beal, Winston 2009].].

В последние годы наблюдается возрождение интереса к искусственному интеллекту, который вполне может обернуться новыми попытками создать универсальный ИИ (по Нильсону – сильный ИИ). Эти проекты будут поддерживаться, с одной стороны, производством новейших аппаратных средств, с другой – научным прогрессом в информатике и программировании в целом, во многих специализированных предметных сферах в частности, а также в смежных областях, например нейроинформатике. Себастиан Трун и Питер Норвиг подготовили в Стэнфордском университете на осень 2011 года бесплатный онлайновый вводный курс по искусственному интеллекту. Реакцию на объявление о нем можно рассматривать как самый убедительный показатель неудовлетворенного спроса на качественную информацию и образование – на курс записались около 160 тысяч человек со всего мира (окончили его 23 тысячи)[77 - По данным Питера Норвига (из личного общения). В принципе, любые курсы по информационным технологиям и машинному обучению очень популярны. Может быть, это объясняется неожиданно возросшим массовым интересом к аналитике больших данных (big data) интересом, инициированным в свое время Google и весьма подогреваемым огромными призовыми суммами Netflix.].

Существует множество вариантов экспертных оценок относительно будущего, уготованного искусственному интеллекту. Разногласия касаются и времени его появления, и того вида, в каком он когда-нибудь предстанет перед миром. Как заметили авторы одного недавнего исследования, прогнозы перспектив развития ИИ «различны настолько, насколько они категоричны»[78 - См.: [Armstrong, Sotala 2012].].

Мы не в состоянии охватить полную картину всех современных положений об интересующей нас теме, однако некоторое, пусть даже поверхностное, представление дают скупые опросы специалистов и высказанные ими частные мнения. Например, не так давно мы попросили представителей нескольких экспертных сообществ ответить на вопрос, когда они ожидают появления искусственного интеллекта человеческого уровня (ИИЧУ) причем уровень определялся как «способность освоить большинство профессий, по крайней мере тех, которыми мог бы владеть среднестатистический человек». Респондентов просили строить свои предположения на основании того, что «научная деятельность в этом направлении будет продолжаться без серьезных сбоев»[79 - См.: [M?ller, Bostrom <В печати>].]. Ответы специалистов показаны в табл. 2. По данным выборки получились следующие средние оценки:

• 2022 год – средний прогноз с 10-процентной вероятностью;

• 2040 год – средний прогноз с 50-процентной вероятностью;

• 2075 год – средний прогноз с 90-процентной вероятностью.

Поскольку размер выборки слишком мал, а с точки зрения генеральной совокупности опрошенных ее нельзя считать репрезентативной, то результаты стоит рассматривать с некоторой долей скептицизма. Однако они согласуются с результатами других опросов[80 - См.: [Baum et al. 2011; Sandberg, Bostrom 2011].].

Данные упомянутого опроса также соответствуют мнению примерно двух десятков исследователей, интервью с которыми появились за последние несколько лет. Назову только Нильса Нильсона. Ученый, многие десятилетия плодотворно трудившийся над фундаментальными вопросами ИИ (методы поиска, автоматическое планирование, системы представления знаний, робототехника), написавший несколько учебников, недавно завершивший самую подробную историю исследований ИИ[81 - См.: [Nilsson 2009].], – когда его спросили о сроках появления ИИЧУ, Нильсон дал следующее заключение[82 - Безусловно, и в этом случае сохранялось условие, что научная деятельность будет продолжаться «без серьезных сбоев», а в мире не случится никаких цивилизационных катастроф. В интервью Нильсон использовал следующее определение ИИЧУ: «ИИ, способный выполнять приблизительно 80 % работы не хуже человека или даже лучше» [Kruel 2012].]:

• 2030 год – средний прогноз с 10-процентной вероятностью;

• 2050 год – средний прогноз с 50-процентной вероятностью;

• 2100 год – средний прогноз с 90-процентной вероятностью.

Таблица 2. Когда будет создан искусственный интеллект человеческого уровня?[83 - В таблице показаны результаты четырех отдельных опросов, в последней строке даны средние показатели. Первые два опроса проводились среди участников нескольких научных конференций. PT-AI – конференция «Философия и теория ИИ» (Салоники, 2011); опрос состоялся в ноябре 2012 года; всего участников – 88 человек, количество респондентов – 43 человека.

AGI – конференции «Универсальный искусственный интеллект» и «Универсальный искусственный интеллект – степень воздействия и угрозы» (Оксфорд, декабрь 2012); всего участников – 111 человек, количество респондентов – 72 человека. EETN – съезд Греческой ассоциации искусственного интеллекта (апрель, 2013); всего участников – 250 человек, количество респондентов – 26 человек. TOP100 – опрос ведущих специалистов по искусственному интеллекту в соответствии с индексом цитирования (май 2013); всего в списке – 100 человек, количество респондентов – 29 человек.]

Судя по опубликованным интервью, названное профессором Нильсоном распределение вероятности вполне репрезентативно – многие эксперты думали так же. Однако еще раз хочу подчеркнуть: мнения расходились очень сильно, поскольку некоторые специалисты-практики горячо верили, что ИИЧУ будет создан за период 2020–2040 годов, а некоторые ученые были убеждены, что либо этого не случится никогда, либо это произойдет, но в неопределенно далеком будущем[84 - См.: [Kruel 2011] – в работе собраны интервью с 28 специалистами по ИИ и в смежных областях.]. Кроме того, одни интервьюируемые считали, что определение «человеческого уровня» по отношению к искусственному интеллекту сформулировано некорректно и может вводить в заблуждение, а другие – по каким-то своим соображениям – просто воздержались от прогнозов.

На мой взгляд, прогнозы, отодвигающие создание ИИЧУ на более поздние сроки (по средним цифрам, полученным в результате опросов), определенно пессимистичны. 10-процентная вероятность появления ИИЧУ в 2075, и тем более в 2100 году (даже при условии, что «научная деятельность в этом направлении будет продолжаться без серьезных сбоев») представляется слишком низкой.

История показывает, что исследователи не могут похвастаться способностью предсказывать ни успехи в разработках искусственного интеллекта, ни формы его воплощения. С одной стороны, выяснилось, что некоторые задачи, скажем, игра в шахматы, могут быть решены при помощи удивительно простых программ, и скептики, заявлявшие, будто машины «никогда» не смогут делать те или иные вещи, раз за разом оказываются посрамлены. С другой – наиболее типичной ошибкой специалистов является недооценка трудностей, связанных с разработкой устойчивой интеллектуальной системы, способной справляться с задачами реальной жизни, и переоценка возможностей их собственных проектов или методов.

В ходе одного из опросов были заданы еще два вопроса, актуальные для нашего исследования. Респондентов спросили, сколько, по их мнению, потребуется времени после создания ИИЧУ, чтобы машина смогла развить сверхразум. Ответы приведены в табл. 3. Второй вопрос касался темы долговременного воздействия на человечество, которое будет оказывать ИИЧУ. Ответы суммированы на рис. 2.

Таблица 3. Сколько времени пройдет между созданием искусственного интеллекта человеческого уровня и появлением сверхразума?

Рис. 2. Долговременное воздействие искусственного интеллекта человеческого уровня[85 - На диаграмме показаны перенормированные медианные оценки. Средние значения несколько отличаются. Например, средние значения для варианта «чрезвычайно негативное» были равны 7,6 % (в Tоп-100) и 17,2 % (в объединенной оценке по всем опросам).]

Мое мнение снова расходится с теми, которые были высказаны в ходе опроса. Я считаю гораздо более вероятным, что сверхразум появится сравнительно быстро после создания ИИЧУ. Кроме того, мой взгляд на последствия этого события также принципиально другой: вероятность чрезвычайно сильного воздействия – позитивного или негативного – на человечество гораздо более высока, чем вероятность нейтрального влияния. Причины этого вскоре станут ясны.

Не стоит полагаться всерьез ни на экспертные опросы, ни на интервью – в силу больших погрешностей данных методов. Небольшая выборка, ее возможные ошибки, а самое главное, ненадежность, изначально присущая субъективным мнениям, – все это не позволяет нам прийти к строгим умозаключениям. Однако пусть поверхностные – за неимением более достоверных аналитических данных, – но какие-то выводы мы в состоянии сделать. Во-первых, искусственный интеллект человеческого уровня имеет довольно высокую вероятность быть созданным к середине нынешнего столетия и имеет ненулевую вероятность быть созданным немного ранее или много позже. Во-вторых, после его создания, скорее всего, довольно быстро появится сверхразум. В-третьих, появление сверхразума может привести к огромным последствиям – как чрезвычайно позитивным, так и чрезвычайно негативным, вплоть до гибели человечества[86 - В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность – неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].].

Полученные выводы по меньшей мере говорят нам, что тема заслуживает тщательного рассмотрения.

Глава вторая

Путь к сверхразуму

На сегодняшний день, если брать уровень общего интеллектуального развития, машины абсолютно уступают людям. Но однажды – по нашему предположению – разум машины превзойдет разум человека. Каков будет наш путь от нынешнего момента до того, который нас ожидает? В этой главе описаны несколько возможных технологических вариантов. Сначала мы рассмотрим такие темы, как искусственный интеллект, полная эмуляция головного мозга, усовершенствование когнитивных способностей человека, нейрокомпьютерный интерфейс, сети и организации. Затем оценим перечисленные аспекты с точки зрения вероятности, смогут ли они служить ступенями восхождения к сверхразуму. При нескольких вариантах пути шанс когда-нибудь достигнуть места назначения явно повышается.

Предварительно определим понятие сверхразума. Это любой интеллект, значительно превосходящий когнитивные возможности человека

фактически в любых областях[87 - Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].]. В следующей главе мы более подробно обсудим, что такое сверхразум, разложим его на составляющие и дифференцируем все возможные его воплощения. Но сейчас позволим себе ограничиться такой общей и поверхностной характеристикой. Заметьте, в данном описании не нашлось места ни претворению сверхразума в жизнь, ни его квалиа[7 - Квалиа (от множ. числа лат. qualia – «свойства, качества») философский термин, обозначающий субъективные ощущения, свойства чувственного опыта.], то есть будет ли он наделен субъективными переживаниями и опытом сознания. А ведь в определенном смысле, особенно этическом, вопрос весьма немаловажный. Однако сейчас, оставив в стороне интеллектуальную метафизику[88 - По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону – ни адептов интернализма, ни последователей экстернализма – в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].], мы уделим внимание двум вопросам: предпосылкам возникновения сверхразума и последствиям этого явления.

Согласно нашему определению, шахматная программа Deep Fritz не является сверхинтеллектуальной, поскольку «сильна» лишь в очень узкой – игра в шахматы – области. И тем не менее очень важно, чтобы сверхразум имел свои предметные специализации. Поэтому каждый раз, когда речь зайдет о том или ином сверхинтеллектуальном поведении, ограниченном предметной областью, я буду отдельно оговаривать его конкретную сферу деятельности. Например, искусственный интеллект, значительно превышающий умственные способности человека в сферах программирования и конструирования, получит название инженерного сверхинтеллекта. Но для обозначения систем, в целом превосходящих общий уровень человеческого интеллекта – если не указано иное, – остается термин сверхразум.

Как мы достигнем того времени, когда окажется возможным его появление? Какой путь выберем? Давайте рассмотрим некоторые возможные варианты.

Искусственный интеллект

Дорогой читатель, не стоит ожидать от этой главы концептуальной разработки вопроса, как создать универсальный, или сильный, искусственный интеллект. Проекта по его программированию просто не существует. Но даже будь я счастливым обладателем такого плана, то, безусловно, не стал бы обнародовать его в своей книге. (Если причины этого пока не очевидны, надеюсь, в последующих главах мне удастся недвусмысленно разъяснить собственную позицию.)

Однако уже сегодня можно распознать некоторые обязательные характеристики, присущие подобной интеллектуальной системе. Совершенно очевидно, что способность к обучению как неотъемлемое свойство ядра системы должна закладываться при проектировании, а не добавляться в качестве запоздалого соображения позднее в виде расширения. То же самое касается способности эффективно работать с неопределенной и вероятностной информациями. Скорее всего, среди основных модулей современного ИИ должны быть средства извлечения полезной информации из данных от внешних и внутренних датчиков и преобразования полученных концепций в гибкие комбинаторные представления для дальнейшего использования в мыслительных процессах, основанных на логике и интуиции.

Первые системы классического искусственного интеллекта по преимуществу не были нацелены на обучение, работу в условиях неопределенности и формирование концепций – вероятно, из-за того, что в те времена были недостаточно развиты соответствующие методы анализа. Нельзя сказать, что все базовые идеи ИИ являются принципиально новаторскими. Например, мысль использовать обучение как средство развития простой системы и доведения ее до человеческого уровня была высказана еще Аланом Тьюрингом в 1950 году в статье «Вычислительная техника и интеллект», где он изложил свою концепцию «машина-ребенок»:

Почему бы нам, вместо того чтобы пытаться создать программу, имитирующую ум взрослого, не попытаться создать программу, которая бы имитировала ум ребенка? Ведь если ум ребенка получает соответствующее воспитание, он становится умом взрослого человека[8 - А. Тьюринг. Может ли машина мыслить? / Пер. с англ. Ю. А. Данилова. М.: Гос. изд-во физико-математической литературы, 1960. С. 34.][89 - См.: [Turing 1950, p. 456].].

Тьюринг предвидел, что для создания «машины-ребенка» потребуется итеративный процесс:

Вряд ли нам удастся получить хорошую «машину-ребенка» с первой же попытки. Надо провести эксперимент по обучению какой-либо из машин такого рода и выяснить, как она поддается научению. Затем провести тот же эксперимент с другой машиной и установить, какая из двух машин лучше. Существует очевидная связь между этим процессом и эволюцией в живой природе…

Тем не менее можно надеяться, что этот процесс будет протекать быстрее, чем эволюция. Выживание наиболее приспособленных является слишком медленным способом оценки преимуществ. Экспериментатор, применяя силу интеллекта, может ускорить процесс оценки. В равной степени важно и то, что он не ограничен использованием только случайных мутаций. Если экспериментатор может проследить причину некоторого недостатка, он, вероятно, в состоянии придумать и такого рода мутацию, которая приведет к необходимому улучшению[9 - А. Тьюринг. Может ли машина мыслить? С. 35.][90 - См.: [Turing 1950, p. 456].].

Мы знаем, что слепые эволюционные процессы способны привести к появлению общего интеллекта человеческого уровня – по крайней мере один раз это уже случилось. Вследствие прогнозирования эволюционных процессов – то есть генетического программирования, когда алгоритмы разрабатываются и управляются разумным человеком-программистом, – мы должны получить аналогичные результаты с гораздо большей эффективностью. Именно на это положение опираются многие ученые, среди которых философ Дэвид Чалмерс и исследователь Ханс Моравек[91 - См.: [Chalmers 2010; Moravec 1976; Moravec 1988; Moravec 1998; Moravec 1999].], утверждающие, что ИИЧУ не только теоретически возможен, но и практически осуществим уже в XXI столетии. По их мнению, в деле создания интеллекта, оценивая относительные возможности эволюции и человеческой инженерной мысли, мы обнаружим, что последняя во многих областях значительно превосходит эволюцию и,

скорее всего, довольно скоро обгонит ее в оставшихся. Таким образом, если в результате эволюционных процессов когда-то появился естественный интеллект, то из этого следует, что человеческие замыслы в области проектирования и разработок вскоре смогут привести нас к искусственному интеллекту. Например, Моравек писал еще в 1976 году:

Существование нескольких примеров интеллекта, появившегося в условиях такого рода ограничений, должно вселять в нас уверенность, что очень скоро мы сможем достичь того же. Ситуация аналогична истории создания машин, которые могут летать, хотя они тяжелее воздуха: птицы, летучие мыши и насекомые продемонстрировали эту возможность явно задолго до того, как человек сделал летательные аппараты[92 - См.: [Moravec 1976]; аналогичную аргументацию приводит и Чалмерс, см.: [Chalmers 2010].].

Впрочем, следует быть осторожнее с выводами, построенными на подобной цепочке рассуждений. Конечно, нет сомнений, что полет нечеловеческих живых существ, которые тяжелее воздуха, стал возможен в результате эволюции намного раньше того, как в этом преуспели люди – правда, преуспели при помощи механизмов. В поддержку этого можно вспомнить и другие примеры: гидролокационные системы; магнитометрические системы навигации; химические средства ведения войны; фотодатчики и прочие приспособления, обладающие механическими и кинетическими характеристиками эффективности. Однако с таким же успехом мы перечислим области, в которых результативность человеческих усилий еще очень далека от эффективности эволюционных процессов: морфогенез; механизмы самовосстановления; иммунная защита. Таким образом, аргументация Моравека все-таки не «вселяет в нас уверенность», что ИИУЧ будет создан «очень скоро». В лучшем случае верхним пределом сложности создания интеллекта может служить эволюция разумной жизни на Земле. Но этот уровень пока недосягаем для нынешних технологических возможностей человечества.

Еще один довод в пользу развития искусственного интеллекта по модели эволюционного процесса – это возможность запускать генетические алгоритмы на довольно мощных процессорах и в итоге добиться результатов, соизмеримых с теми, которые получились в ходе биологической эволюции. Таким образом, эта версия аргументации предполагает усовершенствовать ИИ посредством определенного метода.

Насколько справедливо утверждение, что довольно скоро в нашем распоряжении окажутся вычислительные ресурсы, достаточные для воспроизведения соответствующих эволюционных процессов, вследствие которых образовался человеческий интеллект? Ответ зависит от следующих условий: во-первых, будет ли в течение следующих десятилетий достигнут значимый прогресс компьютерных технологий; во-вторых, какая потребуется вычислительная мощность, чтобы механизмы запуска генетических алгоритмов были аналогичны естественному отбору, приведшему к появлению человека. Надо сказать, что выводы, к которым мы приходим по цепочке наших рассуждений, крайне неопределенны; но, несмотря на такой обескураживающий факт, все-таки представляется уместным попробовать дать хотя бы приблизительную оценку этой версии (см. врезку 3). За неимением других возможностей даже ориентировочные расчеты привлекут внимание к некоторым любопытным неизвестным величинам.

Суть в том, что вычислительная мощность, требуемая лишь для воспроизведения нужных эволюционных процессов, приведших к появлению человеческого интеллекта, практически недостижима и надолго останется таковой, даже если закон Мура будет действовать еще целое столетие (см. рис. 3 ниже). Однако существует вполне приемлемый выход: мы очень сильно повлияем на эффективность, когда вместо прямолинейного повторения естественных эволюционных процессов разработаем поисковый механизм, ориентированный на создание интеллекта, задействуя самые разные очевидные преимущества по сравнению с естественным отбором. Безусловно, оценить количественно полученный выигрыш в эффективности сейчас очень трудно. Мы даже не знаем, о каких порядках величины идет речь – пяти или двадцати пяти. Следовательно, если построенная на эволюционной модели аргументация не будет разработана должным образом, мы не сможем удовлетворить свои ожидания и никогда не узнаем, насколько сложны дороги к искусственному интеллекту человеческого уровня и как долго нам ожидать его появления.

Врезка 3. Оценка усилий по воспроизведению эволюционного процесса

Не все достижения антропогенеза, имеющие отношение к человеческому разуму, имеют ценность для современных специалистов, работающих над проблемой эволюционного развития искусственного интеллекта. В дело идет лишь незначительная часть того, что получилось в итоге естественного отбора на Земле. Например, проблемы, которые люди не могут не принимать во внимание, являются результатом лишь незначительных эволюционных усилий. В частности, поскольку мы можем питать наши компьютеры электричеством, у нас нет необходимости заново изобретать молекулы системы клеточной энергетической экономики для создания разумных машин – а ведь на молекулярную эволюцию метаболического механизма, вполне возможно, потребовалась значительная часть общего расхода мощности естественного отбора, находившейся в распоряжении эволюции на протяжении истории Земли[93 - Более подробно эта тема раскрывается в статье: [Shulman, Bostrom 2012].].

Существует концепция, что ключом к созданию ИИ является структура нервной системы, появившаяся меньше миллиарда лет назад[94 - В своей диссертации Шейн Легг предлагает этот подход в качестве аргумента, что люди на воспроизведение эволюционного пути потратят гораздо меньше времени и меньше вычислительных ресурсов (при этом сам автор отмечает, что ресурсы, потребовавшиеся в ходе биологической эволюции, нам недоступны), см.: [Legg 2008]. Эрик Баум утверждает, что часть работы, связанной с созданием ИИ, проделана намного раньше без вмешательства человека, например: само строение генома уже содержит важную информацию об эволюционных алгоритмах, см.: [Baum 2004].]. Если мы примем данное положение, количество «экспериментов», необходимых для эволюции, значительно сократится. Сегодня в мире существует приблизительно (4–6) ? 1030 прокариотов, но лишь 1019 насекомых и меньше 1010 представителей человеческого рода (кстати, численность населения накануне неолитической революции была на порядки меньше)[95 - См.: [Whitman et al. 1998; Sabrosky 1952].]. Согласитесь, эти цифры не столь пугающи.

Однако для эволюционных алгоритмов требуется не только разнообразие вариантов, но и оценка приспособленности каждого из вариантов – обычно наиболее затратный компонент с точки зрения вычислительных ресурсов. В случае эволюции искусственного интеллекта для оценки приспособленности требуется, по всей видимости, моделирование нейронного развития, а также способности к обучению и познанию. Поэтому лучше не смотреть на общее число организмов со сложной нервной системой, а оценить количество нейронов в биологических организмах, которые нам, возможно, придется моделировать для расчета целевой функции эволюции. Грубую оценку можно

сделать, обратившись к насекомым, которые доминируют в наземной биомассе (на долю одних только муравьев приходится 15–20 %)[96 - См.: [Schultz 2000].]. Объем головного мозга насекомых зависит от многих факторов. Чем насекомое крупнее и социальнее (то есть ведет общественный образ жизни), тем больше его мозг; например, у пчелы чуть меньше 106 нейронов, у дрозофилы – 105 нейронов, муравей со своими 250 тысячами нейронов находится между ними[97 - См.: [Menzel, Giurfa 2001; Truman et al. 1993].]. Мозг большинства более мелких насекомых содержит всего несколько тысяч нейронов. Предлагаю с предельной осторожностью остановиться на усредненном значении (105) и приравнять к дрозофилам всех насекомых (которых всего в мире – 1019), тогда суммарное число их нейронов составит 1024. Добавим еще порядок величины за счет ракообразных, птиц, рептилий, млекопитающих и т. д. – и получим 1025. (Сравним это с тем, что до возникновения сельского хозяйства на планете было меньше 107 человек, причем на каждого приходилось примерно 1011 нейронов – то есть в общей сложности сумма всех нейронов составляла меньше чем 1018, хотя человеческий мозг содержал – и содержит – намного больше синапсов.)

Вычислительные затраты на моделирование одного нейрона зависят от необходимой степени детализации модели. Для крайне простой модели нейрона, работающей в режиме реального времени, требуется примерно 1000 операций с плавающей запятой в секунду (далее – FLOPS). Для электро- и физиологически реалистичной модели Ходжкина – Хаксли нужно 1 200 000 FLOPS. Более сложная мультикомпонентная модель нейрона добавила бы два-три порядка величины, а модель более высокого уровня, оперирующая системами нейронов, требует на два-три порядка меньше операций на один нейрон, чем простые модели[98 - См.: [Sandberg, Bostrom 2008].]. Если нам нужно смоделировать 1025 нейронов на протяжении миллиарда лет эволюции (это больше, чем срок существования нервных систем в их нынешнем виде) и мы позволим компьютерам работать над этой задачей в течение года, то требования к их вычислительной мощности попадут в диапазон 1031–1044 FLOPS. Для сравнения, самый сверхмощный компьютер в мире китайский Tianhe-2 (на сентябрь 2013 года) способен выдавать всего 3,39 ? 1016 FLOPS. В последние десятилетия обычные компьютеры увеличивали свою производительность на порядок примерно раз в 6,7 года. Даже если вычислительная мощность станет расти по закону Мура в течение целого столетия, то это окажется недостаточным, чтобы преодолеть существующий разрыв. Использование более специализированных вычислительных систем или увеличение времени вычислений способны снизить требования к мощности всего на несколько порядков.

Оценка количества нейронов носит условный характер еще по одной причине. Природа, создавая человеческий разум, вряд ли ставила перед собой какую-то определенную задачу. Иными словами, целевая функция эволюционной системы отбирала организмы не только ради развития у них интеллекта или его предшественника – «конкретного мышления»[99 - Обсуждение этой точки зрения, а также анализ функций, определяющих приспособленность организма лишь на основании критерия его умственных способностей, см. в диссертации Легга [Legg 2008].]. Даже если организмы с лучшими способностями к обработке информации при определенных условиях извлекали дополнительные выгоды, то это обстоятельство не являлось главным фактором отбора особи, поскольку развитое мышление могло означать (и часто означало) возникновение дополнительных издержек: затрату большего количества энергии или более медленное созревание, – что перевешивало преимущества разумного поведения. Высокая смертность также снижала ценность интеллекта – чем короче средняя продолжительность жизни, тем меньше времени для того, чтобы «окупились» повышенные способности к обучению. Сниженное давление отбора замедляло распространение инноваций, основанных на интеллекте, и, как следствие, уменьшало возможность отбора последующих инноваций. Более того, эволюция могла тормозиться в локальных оптимумах, которые исследователи в состоянии заметить и обойти за счет изменения баланса между поиском и памятью или за счет плавного повышения сложности тестов на интеллект[100 - Более системное и подробное описание способов, с помощью которых специалисты смогут превзойти имеющиеся на сегодня результаты эволюционного отбора, см. в статье «Мудрость природы» [Bostrom, Sandberg 2009 b].]. Как уже говорилось ранее, эволюция тратит значительную часть мощности отбора на свойства, не имеющие отношения к интеллекту, – скажем, на эволюционную конкуренцию между иммунной системой и паразитами, названную «гонка Черной королевы». Эволюция продолжает растрачивать ресурсы на заведомо обреченные мутации и неспособна принимать во внимание статистическое сходство различных мутаций. Приведенные здесь примеры не должны отпугивать специалистов, разрабатывающих эволюционные алгоритмы для создания интеллектуальных программ, так как неэффективность естественного отбора (с точки зрения развития интеллекта) довольно легко преодолима.

Вполне вероятно, что устранение такого рода неэффективности поможет сэкономить несколько порядков требуемой мощности в 1031–1044 FLOPS, рассчитанной ранее. К сожалению, трудно сказать, сколько именно. Трудно дать даже приблизительную оценку – можно только гадать, будет ли это пять порядков, десять или двадцать пять[101 - Обсуждая целевую функцию, мы говорим лишь о вычислительных ресурсах, необходимых для моделирования нервной системы живых существ, и не учитываем затраты на моделирование их тел или их виртуальной окружающей среды. Вполне возможно, что расчет целевой функции для тестирования каждого организма потребует гораздо меньше операций, чем нужно для симулирования всех нейронных вычислений, аналогичных нейронным процессам, происходящим в мозгу существа за срок его жизни. Сегодня программы ИИ часто разрабатывают для действий в совершенно абстрактной среде (программы для доказательства теорем – в символических математических мирах; программы-агенты – в турнирных мирах простых игр).Скептики могут настаивать, что для эволюции общего интеллекта абстрактной среды будет недостаточно, а виртуальное пространство должно детально напоминать тот мир, в котором развивались наши предки. Создание реалистичного виртуального мира потребовало бы гораздо больших инвестиций в вычислительные мощности, чем симуляция придуманного игрового мира или области для абстрактных задач (в то время как реальный мир достался эволюции «на дармовщину»). В предельном случае требования к полной точности на микроуровне приводят к тому, что потребность в вычислительных ресурсах вырастает до несуразно большой величины. Однако такой экстремальный пессимизм практически ничем не подкреплен: маловероятно, что наилучшие условия – с точки зрения эволюционирования интеллекта – должны максимально точно имитировать природу. Напротив, вполне возможно, что для симуляции естественного отбора искусственного интеллекта гораздо эффективнее будет использовать специальную среду, совершенно не похожую на ту, которая окружала наших предков, такую,

которая специально разработана для стимулирования приспособления на основе нужных нам критериев (например, способности к абстрактному мышлению и общим навыкам решения задач, а не наличия максимально быстрой инстинктивной реакции или высокооптимизированной зрительной системы).].

Рис. 3. Производительность сверхмощных компьютеров. В прямом смысле то, что называют «закон Мура», – это наблюдение, согласно которому количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается примерно каждые два года. Однако часто закон обобщают, считая, что так же по экспоненте растут и другие показатели производительности компьютеров. На нашем графике показано изменение во времени пиковой скорости наиболее сверхмощных компьютеров в мире (по логарифмической вертикальной шкале). В последние годы скорость последовательных вычислений расти перестала, но за счет распространения параллельных вычислений общее количество операций продолжает увеличиваться с прежним темпом[102 - См.: [Wikipedia, 2012 b].].

Есть еще одно осложнение, связанное с эволюционными факторами, выдвигаемыми в качестве последнего аргумента. Проблема заключается в том, что мы не в состоянии вычислить – даже очень приблизительно – верхнюю границу трудности получения интеллекта эволюционным путем. Да, на Земле когда-то появилась разумная жизнь, но из этого факта еще не следует, будто процессы эволюции с высокой степенью вероятности приводят к возникновению интеллекта. Подобное заключение было бы в корне ошибочным, поскольку не учитывается так называемый эффект наблюдения при отборе, подразумевающий, что все наблюдатели находятся на планете, где зародилась разумная жизнь, независимо от того, насколько вероятно или невероятно такое событие на любой другой планете. Предположим, для появления разумной жизни, помимо систематических погрешностей естественного отбора, требуется огромное количество удачных совпадений – настолько большое, что разумная жизнь появилась всего лишь на одной из 1030 планет, где существуют простые гены-репликаторы. В таком случае исследователи, запуская генетические алгоритмы в попытке воспроизвести созданное эволюцией, могут столкнуться с тем, что понадобится сделать примерно 1030 итераций, прежде чем они найдут комбинацию, в которой все элементы сложатся правильно. Кажется, это вполне согласуется с нашим наблюдением, что жизнь зародилась и развивалась здесь, на Земле. Обойти данный гносеологический барьер отчасти можно путем тщательных и до некоторой степени громоздких логических ходов – анализируя случаи конвергентной эволюции характеристик, имеющих отношение к интеллекту, и принимая во внимание эффект наблюдения при отборе. Если ученые не возьмут на себя труд провести такой анализ, то в дальнейшем уже никому из них не придется оценивать максимальное значение и выяснить, насколько предполагаемая верхняя граница необходимой вычислительной мощности для воспроизведения эволюции интеллекта (см. врезку 3) может оказаться ниже тридцатого порядка (или какой-то другой столь же большой величины)[103 - Об эффекте наблюдения при селективном отборе см.: [Bostrom 2002 a] – общее описание; [Shulman, Bostrom 2012] – с точки зрения обсуждаемой здесь темы; [Bostrom 2008 b] – короткое определение на доступном для неспециалиста языке.].

Перейдем к следующему варианту достижения нашей цели: аргументом в пользу осуществимости эволюции искусственного интеллекта служит деятельность головного мозга человека, на которую ссылаются как на базовую модель для ИИ. Различные версии такого подхода отличаются лишь степенью воспроизведения – насколько точно предлагается имитировать функции биологического мозга. На одном полюсе, представляющем собой своеобразную «игру в имитацию», мы имеем концепцию полной эмуляции мозга, то есть полномасштабного имитационного моделирования головного мозга (к этому мы вернемся немного позже). На другом полюсе находятся технологии, в соответствии с которыми функциональность мозга служит лишь стартовой точкой, но разработка низкоуровневого моделирования не планируется. В конечном счете мы приблизимся к пониманию общей идеи деятельности мозга, чему способствуют успехи в нейробиологии и когнитивной психологии, а также постоянное совершенствование инструментальных и аппаратных средств. Новые знания, несомненно, станут ориентиром в дальнейшей работе с ИИ. Нам уже известен пример ИИ, появившегося в результате моделирования работы мозга, – это нейронные сети. Еще одна идея, взятая из нейробиологии и перенесенная на машинное обучение, – иерархическая организация восприятия. Изучение обучения с подкреплением было обусловлено (по крайней мере частично) той важной ролью, которую эта тема играет в психологических теориях, описывающих поведение и мышление животных, а также техники обучения с подкреплением (например, TD-алгоритм). Сегодня обучение с подкреплением широко применяется в системах ИИ[104 - См.: [Sutton, Barto 1998; Schultz et al. 1997].]. В будущем подобных примеров, безусловно, будет больше. Поскольку набор базовых механизмов функционирования мозга весьма ограничен – на самом деле их очень небольшое количество, – все эти механизмы рано или поздно будут открыты благодаря постоянным успехам нейробиологии. Однако возможен вариант, что еще раньше придет к финишу некий гибридный подход, сочетающий модели, разработанные, с одной стороны, на основе деятельности головного мозга человека, с другой – исключительно на основе технологий искусственного интеллекта. Совсем не обязательно, что полученная в результате система должна во всем напоминать головной мозг, даже если при ее создании и будут использованы некоторые принципы его деятельности.

Деятельность головного мозга человека в качестве базовой модели представляет собой сильный аргумент в пользу осуществимости создания и дальнейшего развития искусственного интеллекта. Однако ни один даже самый мощный довод не приблизит нас к пониманию будущих сроков, поскольку трудно предсказать, когда произойдет то или иное открытие в нейробиологии. Можно сказать только одно: чем глубже в будущее мы заглядываем, тем больше вероятность, что секреты функционирования мозга будут раскрыты достаточно полно для воплощения систем искусственного интеллекта.

Исследователи, работающие в области искусственного интеллекта, придерживаются разных точек зрения относительно того, насколько многообещающим является нейроморфный подход сравнительно с технологиями, основанными на полностью композиционных подходах. Полет птиц демонстрировал физическую возможность появления летающих механизмов тяжелее воздуха, что в итоге привело к строительству летательных аппаратов. Однако даже первые поднявшиеся в воздух аэропланы не взмахивали крыльями. По какому пути пойдет разработка искусственного интеллекта? Вопрос остается открытым: по принципу ли закона аэродинамики, удерживающего в воздухе тяжелые железные механизмы, – то есть учась у живой природы, но не подражая ей напрямую; по принципу ли устройства двигателя внутреннего сгорания – то есть непосредственно

копируя действия природных сил.

Концепция Тьюринга о разработке программы, получающей большую часть знаний за счет обучения, а не в результате задания исходных данных, применима и к созданию искусственного интеллекта – как к нейроморфному, так и композиционному подходам.

Вариацией тьюринговой концепции «машины-ребенка» стала идея зародыша ИИ[105 - В научный обиход термин введен Элиезером Юдковским, см.: [Yudkowsky 2007].]. Однако если «машине-ребенку», как это представлял Тьюринг, полагалось иметь относительно фиксированную архитектуру и развивать свой потенциал за счет накопления контента, зародыш ИИ будет более сложной системой, самосовершенствующей собственную архитектуру. На ранних стадиях существования зародыш ИИ развивается в основном за счет сбора информации, действуя методом проб и ошибок не без помощи программиста. «Повзрослев», он должен научиться самостоятельно разбираться в принципах своей работы, чтобы уметь проектировать новые алгоритмы и вычислительные структуры, повышающие его когнитивную эффективность. Требуемое понимание возможно лишь в тех случаях, когда зародыш ИИ или во многих областях достиг довольно высокого общего уровня интеллектуального развития, или в отдельных предметных областях – скажем, кибернетике и математике – преодолел некий интеллектуальный порог.

Это подводит нас к еще одной важной концепции, получившей название «рекурсивное самосовершенствование». Успешный зародыш ИИ должен быть способен к постоянному саморазвитию: первая версия создает улучшенную версию самой себя, которая намного умнее оригинальной; улучшенная версия, в свою очередь, трудится над еще более улучшенной версией и так далее[106 - Сценарий описан как Ирвингом Гудом [Good 1965], так и Элиезером Юдковским [Yudkowsky 2007]. Однако почему бы не представить альтернативный вариант, в котором итеративная последовательность пойдет по пути не развития интеллекта, а упрощения структуры? То есть время от времени зародыш ИИ будет переписывать самого себя таким образом, что работа его последующих версий значительно облегчится.]. При некоторых условиях процесс рекурсивного самосовершенствования может продолжаться довольно долго и в конце концов привести к взрывному развитию искусственного интеллекта. Имеется в виду событие, в ходе которого за короткий период времени общий интеллект системы вырастает со сравнительно скромного уровня (возможно, во многих аспектах, кроме программирования и исследований в области ИИ, даже ниже человеческого) до сверхразумного, радикально превосходящего уровень человека. В четвертой главе мы вернемся к этой перспективе, весьма важной по своему значению, и подробнее проанализируем динамику развития событий.

Обратите внимание, что такая модель развития предполагает возможность сюрпризов. Попытки создать универсальный искусственный интеллект могут, с одной стороны, закончиться полной неудачей, а с другой – привести к последнему недостающему критическому элементу – после чего зародыш ИИ станет способен на устойчивое рекурсивное самосовершенствование.

Прежде чем закончить этот раздел главы, хотелось бы подчеркнуть еще одну вещь: совсем не обязательно, чтобы искусственный интеллект был уподоблен человеческому разуму. Вполне допускаю, что ИИ станет совершенно «чужим» – скорее всего, так и случится. Можно ожидать, что когнитивная архитектура ИИ будет резко отличаться от когнитивной системы человека; например, на ранних стадиях когнитивная архитектура будет иметь совсем другие сильные и слабые признаки (хотя, как мы увидим далее, ИИ удастся преодолеть исходные недостатки). Помимо всего, целеустремленные системы ИИ могут не иметь ничего общего с системой целеустремлений человечества. Нет оснований утверждать, что ИИ среднего уровня начнет руководствоваться человеческими чувствами, такими как любовь, ненависть, гордость, – для такой сложной адаптации потребуется огромный объем дорогостоящих работ, более того, к появлению подобной возможности у ИИ следует отнестись очень осмотрительно. Это одновременно и большая проблема, и большие возможности. Мы вернемся к мотивации ИИ в дальнейших главах, но эта идея настолько важна для книги, что ее стоит держать в голове постоянно.

Полная эмуляция головного мозга человека

В процессе полномасштабного имитационного моделирования головного мозга, который мы называем «полная эмуляция мозга» или «загрузка разума», искусственный интеллект создается путем сканирования и точного воспроизведения вычислительной структуры биологического мозга. Таким образом, приходится всецело черпать вдохновение у природы – крайний случай неприкрытого плагиата. Чтобы полная эмуляция мозга прошла успешно, требуется выполнить ряд определенных шагов.

Первый этап. Делается довольно подробное сканирование человеческого мозга. Это может включать фиксацию мозга умершего человека методом витрификации, или стеклования (в результате ткани становятся твердыми, как стекло). Затем одним аппаратом с ткани делаются тонкие срезы, которые пропускают через другой аппарат для сканирования, возможно, при помощи электронных микроскопов. На этой стадии применяется окраска материала специальными красителями, чтобы выявить его структурные и химические свойства. При этом параллельно работают множество сканирующих аппаратов, одновременно обрабатывающих различные срезы ткани.

Второй этап. Исходные данные со сканеров загружают в компьютер для автоматической обработки изображений, чтобы реконструировать трехмерную нейронную сеть, отвечающую за познание в биологическом мозгу. Дабы сократить количество снимков в высоком разрешении, которые необходимо хранить в буфере, этот этап может выполняться одновременно с первым. Полученную карту комбинируют с библиотекой нейровычислительных моделей на нейронах разного типа или на различных нейронных элементах (например, могут отличаться синапсы). Некоторые результаты сканирования и обработки изображений с применением современной технологии показаны на рис. 4.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию (http://www.litres.ru/nik-bostrom/iskusstvennyy-intellekt-etapy-ugrozy-strategii/?lfrom=931425718) на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

notes

Сноски

1

Гоминиды (лат. Hominidae) высокоорганизованное семейство человекообразных обезьян; гоминид, человек ископаемый, представляет собой промежуточное звено между приматом и человеком разумным. Здесь и далее: прим. ред.

2

Согласно Центру по изучению экзистенциальных рисков (Кембридж), таковыми считаются потенциальные угрозы для человечества: искусственный интеллект, изменение климата, ядерное оружие, биотехнологии.

3

Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006.

4

Коннективизм,

или коннекционизм (connectionism), – моделирует в сетях мыслительные и поведенческие явления из взаимосвязанных простых элементов; на самом деле понятие коннективизма возникло намного раньше самих искусственных нейронных систем; как подход он применяется не только в области искусственного интеллекта, но и в философии сознания, психологии, когнитивистике.

5

AI-полная задача (где AI – artificial intelligence («искусственный интеллект»)) неформальный термин, который применяется в теории ИИ по аналогии с NP-полным классом задач. По существу означает задачу создания искусственного интеллекта человеческого уровня.

6

Алгоритмический высокочастотный трейдинг, или алгоритмическая высокочастотная торговля (algorithmic high-frequency trading), – формализованный процесс совершения торговых операций на финансовых рынках по заданному алгоритму с использованием специализированных компьютерных систем (торговых роботов).

7

Квалиа (от множ. числа лат. qualia – «свойства, качества») философский термин, обозначающий субъективные ощущения, свойства чувственного опыта.

8

А. Тьюринг. Может ли машина мыслить? / Пер. с англ. Ю. А. Данилова. М.: Гос. изд-во физико-математической литературы, 1960. С. 34.

9

А. Тьюринг. Может ли машина мыслить? С. 35.

Комментарии

1

Должен признать, не все примечания содержат ценную информацию.

2

Вряд ли смогу сказать, что именно изложено корректно.

3

В настоящее время доход на уровне прожиточного минимума равен примерно 400 долларов [Chen, Ravallion 2010]. Следовательно, для 1 млн человек эта сумма будет равняться 400 000 000 долларам. Мировой ВВП составляет около 60 000 000 000 000 долларов и растет с темпом четыре процента в год (учитывается среднегодовой темп роста с 1950 года, см. данные: [Maddison 2010]). Цифры, приведенные мною в тексте, основаны на этих данных, хотя они представляют всего лишь оценку порядка величины. Если проанализировать сегодняшнюю численность людей на Земле, то выяснится, что в среднем она увеличивается на 1 млн человек за полторы недели; но подобный темп прироста населения лимитирует скорость экономического развития, поскольку доход на душу населения растет тоже. При переходе к животноводству и земледелию население планеты выросло к 5000 году до н. э. на 1 млн человек за 200 лет – огромное ускорение по сравнению с эпохой гоминидов, когда на это требовалось 1 млн лет, – поэтому после неолитической, или сельскохозяйственной, революции прогресс пошел значительно быстрее. Тем не менее, согласитесь, не может не впечатлять, что семь тысяч лет назад на экономическое развитие требовалось 200 лет, тогда как сегодня приросту на ту же величину хватает полутора часов для мировых экономик и полутора недель для населения планеты. См. также [Maddison 2005].

4

Резкий рост и значительное ускорение подтверждают предположение о возможном приближении к точке сингулярности; в свое время это предвидели математики Джон фон Нейман и Станислав Улам:

Чаще всего мы вели беседы на такие темы, как ускорение технического прогресса и общие перемены, влияющие на образ жизни человека. Наблюдая стремительные изменения, мы понимали, что исторически вся наша гонка неизбежно приведет человечество к некой неустранимой точке; перейдя ее, люди уже не смогут продолжать ту деятельность, к которой мы все так привыкли [Ulam 1958].

5

См.: [Hanson 2000].

6

См.: [Vinge 1993; Kurzweil 2005].

7

См.: [Sandberg 2010].

8

См.: [Van Zanden 2003; Maddison 1999; Maddison 2001; De Long 1998].

9

Два часто повторяемых в 1960-е гг. оптимистичных утверждения: «Через двадцать лет машины смогут выполнять всю работу, которую делают люди» [Simon 1965, p. 96]; «В течение жизни нашего поколения… задача создания искусственного интеллекта будет в целом решена» [Minsky 1967, p. 2]. Системное исследование прогнозов см.: [Armstrong, Sotala 2012].

10

См., например: [Baum et al. 2011; Armstrong, Sotala 2012].

11

По моему предположению, исследователи, работающие в области ИИ, сами не отдают себе отчета, что довольно плохо представляют, сколько времени требуется на его создание; причем данное обстоятельство может сказаться на оценке срока разработки: как в сторону завышения, так и занижения.

12

См.: [Good 1965, p. 33].

13

Одним из немногих, кто выражал беспокойство по поводу возможных результатов, был Норберт Винер, в 1960 году писавший в статье «Некоторые моральные и технические последствия автоматизации» [Wiener 1960]:

Если для достижения собственных целей мы используем некое механическое устройство, на деятельность которого после его запуска уже не в состоянии повлиять, поскольку его действия настолько быстры и небратимы, что информация о необходимости вмешательства у нас появляется, лишь когда они завершатся, то в таких случаях хорошо бы быть полностью уверенными, что заложенная нами в машину цель действительно соответствует нашим истинным желаниям, а не является красочной имитацией.

О тревоге, связанной с возможным появлением сверхразумных машин, рассказал в своем интервью Эд Фредкин [McCorduck 1979]). Ирвинг Гуд продолжал говорить о возможных рисках и, чтобы предотвратить грозящую планете опасность, в 1970 году даже призвал к созданию ассоциации [Good 1970]; в более поздней статье он предвосхитил некоторые идеи косвенной нормативности [Good 1982] (мы их обсудим в главе 13). На принципиальные проблемные вопросы указал в 1984 году Марвин Мински [Minsky 1984].

14

См.: [Yudkowsky 2008a]. На необходимость дать оценку этическим аспектам потенциально опасных будущих технологий прежде, чем они станут реальностью, указывала Ребекка Роуч [Roache 2008].

15

См.: [McCorduck 1979].

16

См.: [Newell et al. 1959].

17

Программы Saints, Analogy и Student соответственно, см.: [Slagle 1963; Evans 1964; Evans 1968; Bobrow 1968].

18

См.: [Nilsson 1984].

19

См.: [Weizenbaum 1966].

20

См.: [Winograd 1972].

21

См.: [Cope 1996; Weizenbaum 1976; Moravec 1980; Thrun et al. 2006; Buehler et al. 2009; Koza et al. 2003]. Первая лицензия на право пользоваться беспилотным автомобилем выдана управлением транспортных средств штата Невада в мае 2012 года.

22

Система STANDUP [Ritchie et al. 2007].

23

Эти слова Хьюберта Дрейфуса как характерный пример общего скептического отношения к предмету обсуждения приводит в своей статье «Пределы искусственного интеллекта» Джекоб Шварц [Schwartz 1987].

24

В то время одним из самых неистовых и ярких противников ИИ считался Хьюберт Дрейфус, но и другие критики были не менее знамениты и заметны, например Джон Лукас, Роджер Пенроуз и Джон Сёрл. Дрейфус, опровергая работы ведущих исследователей, главным образом подвергал сомнению практическую пользу, которую сможет принести существовавшая на тот момент парадигма ИИ (причем, похоже, он не исключал появления более удачных концепций). Сёрл, будучи философом, прежде всего интересовался не инструментальными средствами для разработки ИИ, а тем, как решаются проблемы сознания, в частности, с точки зрения теории функциональных систем. Лукас и Пенроуз в принципе отрицали, что в рамках парадигмы классического компьютера можно разработать программное обеспечение, думающее и дышащее лучше живого математика; однако оба допускали и автоматизацию отдельных функций, и создание таких мощных инструментальных средств, которые в конечном счете приведут к появлению ИИ. И хотя

Цицерон в трактате «О прорицании» (De divinatione) (Марк Туллий Цицерон. О дивинации. Философский трактат в двух книгах // Марк Туллий Цицерон. Философские трактаты. М.: Наука, 1985.) заметил, что «нет такого абсурда, который нельзя было бы найти в книгах философов» [Cicero. On Divination, 119], как ни странно, мне трудно вспомнить хотя бы одного серьезного ученого и просто мыслящего человека, отрицавшего возможность создания искусственного интеллекта – в том значении этого термина, который используется в настоящей книге.

25

Однако во многих приложениях процесс обучения нейронных сетей несколько отличается от модели линейной регрессии – статистического метода, разработанного в начале XIX века Адриеном-Мари Лежандром и Карлом Фридрихом Гауссом.

26

Основной алгоритм был описан в 1969 году Артуром Брайсоном и Юй-Чи Хо как многошаговый метод динамической оптимизации [Bryson, Ho 1969]. Применить его к нейронным сетям предложил в 1974 году Пол Вербос [Werbos 1994], но признание у научного сообщества этот метод получил лишь в 1986 году после работы Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса [Rumelhart et al. 1986].

27

Ранее было показано, что функциональность сетей без скрытых слоев серьезно ограничена [Minsky, Papert 1969].

28

См., например: [MacKay 2003].

29

См.: [Murphy 2012].

30

См.: [Pearl 2009].

31

Мы сознательно опускаем различные технические подробности, чтобы не перегружать повествование. К некоторым из них будет возможность вернуться в главе 12.

32

Программа p генерирует полное описание строки x, если p, запущенная на (некоторой) универсальной машине Тьюринга U, выдает x; это можно записать как U(p) = x. (Здесь строка x представляет любой возможный мир.) Тогда колмогоровская сложность x равна K(x) = minp {l(p): U(p) = x}, где l(p) это длина p в битах. Соломоновская вероятность x определяется как

, где сумма задана над всеми («минимальными», то есть не обязательно останавливающимися) программами p, для которых U выдает строку, начинающуюся с x; см.: [Hutter 2005].

33

Байесово обусловливание с учетом свидетельства Е дает (вероятность утверждения [например, Е] есть сумма вероятностей возможных миров, в которых это утверждение истинно.)

34

Или случайным образом выбирает одно из возможных действий с максимальной ожидаемой полезностью, если их несколько.

35

Более сжато ожидаемая полезность действия может быть записана как

, где сумма берется по всем возможным мирам.

36

См., например: [Howson, Urbach 1993; Bernardo, Smith 1994; Russell, Norvig 2010].

37

См.: [Wainwright, Jordan 2008]. У байесовских сетей бесчисленное количество областей применения; см., например: [Pourret et al. 2008].

38

Возможно, некоторые читатели, сочтя это направление не слишком серьезным, зададут вопрос: зачем уделять столь пристальное внимание компьютерным играм? Дело в том, что игровые интеллектуальные системы, пожалуй, дают самое наглядное представление о сравнительных возможностях человека и машины.

39

См.: [Samuel 1959; Schaeffer 1997, ch. 6].

40

См.: [Schaeffer et al. 2007].

41

См.: [Berliner 1980 a; Berliner 1980 b].

42

См.: [Tesauro 1995].

43

В частности, такие программы по игре в нарды, как GNU [Silver 2006] и Snowie [Gammoned.net (http://gammoned.net/), 2012].

44

Процессом создания космического флота и битвами руководил сам Дуглас Ленат, написавший по этому поводу: «Итак, победа стала заслугой и Лената, и Eurisco – в пропорции 60: 40. Основной момент тем не менее состоит в том, что в одиночку ни я, ни программа никогда не справились бы» [Lenat 1983, p. 80].

45

См.: [Lenat 1982; Lenat 1983].

46

См.: [Cirasella, Kopec 2006].

47

См.: [Kasparov 1996, p. 55].

48

См.: [Newborn 2011].

49

См.: [Keim et al. 1999].

50

См.: [Armstrong 2012].

51

См.: [Sheppard 2002].

52

См.: [Wikipedia, 2012 a].

53

См.: [Markoff 2011].

54

См.: [Rubin, Watson 2011].

55

См.: [Elyasaf et al. 2011].

56

См.: [KGS, 2012].

57

См.: [Newell et al. 1958, p. 320].

58

См.: [Vardi 2012].

59

Ирвинг Гуд предполагал в 1976 году:

Появление программного обеспечения, не уступающего по своему потенциалу гроссмейстерскому уровню, будет означать, что мы уже стоим на пороге <создания искусственного сверхразума. – Н. Б.> [Good 1976].

Даглас Хофштадтер писал в 1979 году в книге «Гёдель, Эшер, Бах», за которую в 1980-м он получит Пулитцеровскую премию:

Вопрос: Будут ли такие шахматные программы, которые смогут выиграть у кого угодно?

Возможный ответ: Нет. Могут быть созданы программы, которые смогут обыгрывать кого угодно, но они не будут исключительно шахматными программами. Они будут программами общего разума и, так же как люди, они будут обладать характером. «Хотите сыграть партию в шахматы?» – «Нет, шахматы мне уже надоели. Лучше давайте поговорим о поэзии…» (Даглас Хофштадтер. Гёдель, Эшер, Бах. Эта бесконечная гирлянда / Пер. с англ. М. А. Эскиной. Самара: Издательский дом «Бахрах-М», 2001. С. 635.) [Hofstadter 1999, p. 678].

60

Минимаксный алгоритм поиска с альфа-бета отсечениями использовался совместно со специфической для шахмат функцией эвристической оценки позиций – это дало в сочетании с удачной библиотекой дебютов и эндшпилей, а также другими хитростями, очень сильную шахматную программу.

61

Впрочем, учитывая достижения в изучении оценочной эвристики в ходе моделирования, многие базовые алгоритмы могли бы хорошо проявить себя в большом количестве других игр.

62

См.: [Nilsson 2009, p. 318]. Конечно, Кнут несколько преувеличил успехи машинного разума. Все-таки есть еще интеллектуальные задачи, в которых ИИ не преуспел; например, остаются «непродуманными» такие аспекты, как открытие новых направлений в чистой математике, придумывание свежих философских концепций, создание циклов детективных романов, организация военного переворота, разработка очень нужного и инновационного товара широкого потребления.

63

См.: [Shapiro 1992].

64

Можно только предполагать, почему машине трудно достичь человеческого уровня в восприятии окружающей действительности, регуляции двигательных функций, здравом смысле и понимании языка. Одна из причин заключается в том, что в нашем мозгу имеется специальный механизм, управляющий этими свойствами, – достигшие в процессе эволюции совершенства нейронные структуры. Логическое мышление и навыки вроде игры в шахматы, в отличие от перечисленных выше способностей, не столь естественны, и потому при решении этих задач мы вынуждены полагаться на ограниченные когнитивные ресурсы общего назначения. Возможно, для вычислений и явно выраженных логических рассуждений наш мозг запускает что-то похожее на «виртуальную машину» – медленный и громоздкий психический симулятор универсального компьютера. Если наше предположение верно, то тогда получается забавная вещь: не КИИ моделирует человеческое мышление, а как раз наоборот – логически мыслящий человек симулирует программу ИИ.

65

Надо заметить, что по мнению меньшинства, представленного приблизительно 20 % взрослого населения США, Солнце «продолжает» вращаться вокруг Земли, – подобная картина наблюдается и в других развитых странах [Crabtree 1999; Dean 2005].

66

См.: [World Robotics 2011].

67

По оценке, взятой из работы: [Guizzo 2010].

68

См.: [Holley 2009].

69

Кроме того, есть гибридные подходы, основанные как на статистике, так и на правилах, но в наше время они

не представляют никакого интереса.

70

См.: [Cross, Walker 1994; Hedberg 2002].

71

По сообщенным мне в частном порядке статистическим данным TABB Group – компании, специализирующейся на анализе рынка капиталов; ее офисы находятся в Нью-Йорке и Лодоне.

72

См.: [CFTC/SEC Report on May 6, 2010]; другую точку зрения на события 6 мая 2010 года см.: [CME Group, 2010] (CFTC (Commodity Futures Trading Commission) Комиссия по срочной биржевой торговле; SEC (Securities and Exchange Commission) Комиссия по ценным бумагам и биржам; CME Group – Группа Чикагской товарной биржи, крупнейший североамериканский рынок ценных бумаг, созданный в результате объединения ведущих нью-йоркских и чикагских бирж.).

73

Мне не хотелось бы, чтобы это воспринималось как аргумент против алгоритмического высокочастотного трейдинга, который вполне способен играть полезную роль, повышая ликвидность и эффективность рынка.

74

Менее масштабное потрясение случилось на фондовом рынке 1 августа 2012 года, отчасти причиной стало то обстоятельство, что автоматический прерыватель не был запрограммирован приостанавливать торги в случае резких изменений в количестве обращаемых акций, см.: [Popper 2012]. Это затрагивает еще одну нашу тему: трудно предусмотреть все возможные варианты, когда стандартная ситуация, которая держится на хорошо продуманных принципах, вдруг выходит из-под контроля.

75

См.: [Nilsson 2009, p. 319].

76

См.: [Minsky 2006; McCarthy 2007; Beal, Winston 2009].

77

По данным Питера Норвига (из личного общения). В принципе, любые курсы по информационным технологиям и машинному обучению очень популярны. Может быть, это объясняется неожиданно возросшим массовым интересом к аналитике больших данных (big data) интересом, инициированным в свое время Google и весьма подогреваемым огромными призовыми суммами Netflix.

78

См.: [Armstrong, Sotala 2012].

79

См.: [M?ller, Bostrom <В печати>].

80

См.: [Baum et al. 2011; Sandberg, Bostrom 2011].

81

См.: [Nilsson 2009].

82

Безусловно, и в этом случае сохранялось условие, что научная деятельность будет продолжаться «без серьезных сбоев», а в мире не случится никаких цивилизационных катастроф. В интервью Нильсон использовал следующее определение ИИЧУ: «ИИ, способный выполнять приблизительно 80 % работы не хуже человека или даже лучше» [Kruel 2012].

83

В таблице показаны результаты четырех отдельных опросов, в последней строке даны средние показатели. Первые два опроса проводились среди участников нескольких научных конференций. PT-AI – конференция «Философия и теория ИИ» (Салоники, 2011); опрос состоялся в ноябре 2012 года; всего участников – 88 человек, количество респондентов – 43 человека. AGI – конференции «Универсальный искусственный интеллект» и «Универсальный искусственный интеллект – степень воздействия и угрозы» (Оксфорд, декабрь 2012); всего участников – 111 человек, количество респондентов – 72 человека. EETN – съезд Греческой ассоциации искусственного интеллекта (апрель, 2013); всего участников – 250 человек, количество респондентов – 26 человек. TOP100 – опрос ведущих специалистов по искусственному интеллекту в соответствии с индексом цитирования (май 2013); всего в списке – 100 человек, количество респондентов – 29 человек.

84

См.: [Kruel 2011] – в работе собраны интервью с 28 специалистами по ИИ и в смежных областях.

85

На диаграмме показаны перенормированные медианные оценки. Средние значения несколько отличаются. Например, средние значения для варианта «чрезвычайно негативное» были равны 7,6 % (в Tоп-100) и 17,2 % (в объединенной оценке по всем опросам).

86

В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность – неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].

87

Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].

88

По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону – ни адептов интернализма, ни последователей экстернализма – в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].

89

См.: [Turing 1950, p. 456].

90

См.: [Turing 1950, p. 456].

91

См.: [Chalmers 2010; Moravec 1976; Moravec 1988; Moravec 1998; Moravec 1999].

92

См.: [Moravec 1976]; аналогичную аргументацию приводит и Чалмерс, см.: [Chalmers 2010].

93

Более подробно эта тема раскрывается в статье: [Shulman, Bostrom 2012].

94

В своей диссертации Шейн Легг предлагает этот подход в качестве аргумента, что люди на воспроизведение эволюционного пути потратят гораздо меньше времени и меньше вычислительных ресурсов (при этом сам автор отмечает, что ресурсы, потребовавшиеся в ходе биологической эволюции, нам недоступны), см.: [Legg 2008]. Эрик Баум утверждает, что часть работы, связанной с созданием ИИ, проделана намного раньше без вмешательства человека, например: само строение генома уже содержит важную информацию об эволюционных алгоритмах, см.: [Baum 2004].

95

См.: [Whitman et al. 1998; Sabrosky 1952].

96

См.: [Schultz 2000].

97

См.: [Menzel, Giurfa 2001; Truman et al. 1993].

98

См.: [Sandberg, Bostrom 2008].

99

Обсуждение этой точки зрения, а также анализ функций, определяющих приспособленность организма лишь

на основании критерия его умственных способностей, см. в диссертации Легга [Legg 2008].

100

Более системное и подробное описание способов, с помощью которых специалисты смогут превзойти имеющиеся на сегодня результаты эволюционного отбора, см. в статье «Мудрость природы» [Bostrom, Sandberg 2009 b].

101

Обсуждая целевую функцию, мы говорим лишь о вычислительных ресурсах, необходимых для моделирования нервной системы живых существ, и не учитываем затраты на моделирование их тел или их виртуальной окружающей среды. Вполне возможно, что расчет целевой функции для тестирования каждого организма потребует гораздо меньше операций, чем нужно для симулирования всех нейронных вычислений, аналогичных нейронным процессам, происходящим в мозгу существа за срок его жизни. Сегодня программы ИИ часто разрабатывают для действий в совершенно абстрактной среде (программы для доказательства теорем – в символических математических мирах; программы-агенты – в турнирных мирах простых игр).

Скептики могут настаивать, что для эволюции общего интеллекта абстрактной среды будет недостаточно, а виртуальное пространство должно детально напоминать тот мир, в котором развивались наши предки. Создание реалистичного виртуального мира потребовало бы гораздо больших инвестиций в вычислительные мощности, чем симуляция придуманного игрового мира или области для абстрактных задач (в то время как реальный мир достался эволюции «на дармовщину»). В предельном случае требования к полной точности на микроуровне приводят к тому, что потребность в вычислительных ресурсах вырастает до несуразно большой величины. Однако такой экстремальный пессимизм практически ничем не подкреплен: маловероятно, что наилучшие условия – с точки зрения эволюционирования интеллекта – должны максимально точно имитировать природу. Напротив, вполне возможно, что для симуляции естественного отбора искусственного интеллекта гораздо эффективнее будет использовать специальную среду, совершенно не похожую на ту, которая окружала наших предков, такую, которая специально разработана для стимулирования приспособления на основе нужных нам критериев (например, способности к абстрактному мышлению и общим навыкам решения задач, а не наличия максимально быстрой инстинктивной реакции или высокооптимизированной зрительной системы).

102

См.: [Wikipedia, 2012 b].

103

Об эффекте наблюдения при селективном отборе см.: [Bostrom 2002 a] – общее описание; [Shulman, Bostrom 2012] – с точки зрения обсуждаемой здесь темы; [Bostrom 2008 b] – короткое определение на доступном для неспециалиста языке.

104

См.: [Sutton, Barto 1998; Schultz et al. 1997].

105

В научный обиход термин введен Элиезером Юдковским, см.: [Yudkowsky 2007].

106

Сценарий описан как Ирвингом Гудом [Good 1965], так и Элиезером Юдковским [Yudkowsky 2007]. Однако почему бы не представить альтернативный вариант, в котором итеративная последовательность пойдет по пути не развития интеллекта, а упрощения структуры? То есть время от времени зародыш ИИ будет переписывать самого себя таким образом, что работа его последующих версий значительно облегчится.