Создатель ChatGPT: История Сэма Альтмана - Кич Хэйги Страница 50

«Я словно проснулся и почувствовал себя личностью, – вспоминал он. – Это было потрясающе – вдруг осознать, что ты существуешь». Тот момент врезался в память, и позже он задумался: может ли ИИ помочь разгадать тайну сознания? «Меня интересовала душа, – рассказывал он. – Я размышлял: может, душа – это то, что способно учиться? Ведь компьютер не умеет учиться. Но если компьютер сможет учиться, что это скажет нам о душе?» С детства его завораживала «великая нерешенная проблема»: что такое обучение на самом деле и способны ли на него машины.

В израильской школе он настолько опережал программу, что еще в средних классах начал заочно изучать университетские курсы. «Я не любил ходить в школу – там не учили ничему новому, время тратилось впустую. Мне всегда хотелось вырваться из этой системы», – признавался он.

В 16 лет его семья иммигрировала в Канаду, где он проучился всего месяц в одиннадцатом классе средней школы, после чего бросил ее и поступил в Университет Торонто сразу на третий курс. Суцкеверу и его родителям пришлось приложить немало усилий, чтобы убедить университет принять его без аттестата о среднем образовании. Но как только это произошло, он немедленно направился к кабинету Джеффа Хинтона, легендарного исследователя ИИ. 17-летний подросток, подрабатывавший продавцом картошки фри в парке развлечений Paramount Wonderland, спросил, можно ли ему изучать машинное обучение под руководством профессора. Дело было воскресным вечером, и Хинтон предложил договориться о встрече в более подходящее время. Но Суцкевер настаивал. Тогда Хинтон дал ему свою фундаментальную работу о методе обратного распространения ошибки и велел возвращаться, когда он ее прочтет. Через несколько дней Суцкевер вернулся и сказал, что не понимает. «Это же элементарный матанализ», – удивился Хинтон. «Да нет, – возразил Суцкевер. – Я не понимаю, почему вы не берете производные и не передаете их подходящему оптимизатору функций»[231]. Хинтону потребовались годы, чтобы прийти к такому пониманию. Он дал юноше другую статью, и тот вернулся с не менее глубоким наблюдением. «Он сказал: “Вы обучаете одну нейросеть для одной задачи, потом другую – для другой. Почему бы не обучить одну сеть решать обе задачи сразу?”» – вспоминал Хинтон.

«Это единственный студент, у которого было больше хороших идей, чем у меня самого», – признавался Хинтон. Он пригласил Суцкевера в свою лабораторию, несмотря на то что формально тот отставал от других студентов. Суцкевер получил степень бакалавра математики в Университете Торонто, а затем под руководством Хинтона защитил докторскую по информатике.

«Он очень силен в математике, но главное – он мыслит самостоятельно, и мыслит блестяще, – говорил Хинтон. – Он интеллектуально честен и при этом бесстрашен. Он не цепляется за идею только потому, что она принадлежит ему».

Это сочетание качеств сделало его востребованным руководителем – человеком, полным собственных идей, но открытым к чужим. При этом он с самого начала твердо верил в потенциал нейронных сетей. «Илья был убежден в перспективности нейросетевого подхода к ИИ и очень рано понял: чем больше масштаб нейронной сети, тем лучше она работает. Мало кто тогда рассуждал подобным образом», – отмечал Хинтон. Большинство считало эту идею отговоркой, объясняющей, почему нейронные сети все еще не показывали хороших результатов. «Илья понимал, почему масштабирование улучшит работу нейросетей, и был, пожалуй, самым убежденным сторонником этого подхода среди всех исследователей».

По словам Суцкевера, он пришел к этому убеждению методом исключения, тщательно изучив сначала все другие подходы к ИИ, чтобы убедиться в своей правоте. «В конце концов я смог сформулировать, на мой взгляд, предельно ясное, простое и убедительное объяснение того, почему все другие формы ИИ бесперспективны», – говорил он.

Суцкевер считал, что исследования ИИ попали в ловушку академических требований – ученые публиковали статьи с красивыми теоремами, которые демонстрировали их интеллект, но не приближали к цели. Для этого явления у него было название: «зависть к математике». И он считал, что его собственное математическое образование делало его невосприимчивым к этой болезни.

«Если вами движет желание доказывать теоремы, вы выбираете те области, где это возможно, тогда как об ИИ на основе нейронных сетей теоремы доказать невозможно, потому что он слишком сложен, – объяснял он. – Но в том-то и дело: вещи, которые нам нужно изучать, очень сложны. Если ваш ИИ слишком прост, он никогда не заработает. Это тупиковый путь. ИИ должен быть сложным».

Убеждение Суцкевера базировалось на простой идее: человеческий мозг – это карта, ведущая к общему искусственному интеллекту. Как метко заметил Хинтон, мы не понимаем, что происходит в голове у таксиста, но это не мешает нам садиться в машину и ожидать, что она довезет нас до нужного места. «Непостижимость нейросетевого ИИ – не недостаток, а ключевое преимущество. Мы применяем непостижимый способ решения непостижимой проблемы, – утверждал Суцкевер. – Но самым сильным аргументом был тот факт, что человеческий мозг тоже представляет собой нейросеть, состоящую из маленьких простых нейронов. Если что-то способен сделать мозг, почему того же не может правильно обученная искусственная нейросеть? Остается выяснить, что значит “правильно обученная”».

Вся лаборатория Хинтона работала исходя из предпосылки, что нейронные сети могут работать, – и стремилась расширить границы их возможностей. Человеческий мозг состоит из 100 миллиардов нейронов, которые, по сути, действуют как маленькие переключатели, которые либо передают дальше сигнал, поступающий через дендрит, либо нет, в зависимости от его силы. Искусственные нейроны, впервые предложенные в 1940-х годах, были грубыми аналогами этих переключателей. Сила входящего сигнала выражалась числом – «весом». Великое открытие Хинтона 1980-х годов – метод обратного распространения ошибки – дало математическую формулу для обучения этих весов на основе опыта. «Это уже немного напоминает работу мозга, – говорил Суцкевер. – Теперь нейросети могут учиться по-настоящему интересным вещам». Но тем не менее на протяжении долгих лет нейронные сети не оправдывали надежд энтузиастов.

Затем, около 2010 года, появилась новая технология, изменившая правила игры: графический процессор, или GPU. Изначально разработанные для обработки графики в видеоиграх, GPU обладали уникальной способностью быстро выполнять множество вычислений одновременно, что позволило исследователям работать с нейросетями и массивами данных невиданных прежде размеров. Наконец-то можно было приблизиться к масштабам и сложности человеческого мозга. «Если следовать этой аналогии, становится понятно, почему нужна большая сеть, – ведь мозг состоит из огромного количества нейронов», – объяснял Суцкевер.

Хинтон и Суцкевер считали, что все элементы для решения задачи компьютерного зрения с помощью нейронных сетей уже имеются. Чтобы доказать это, Суцкевер предложил лаборатории принять участие в ежегодном конкурсе Стэнфорда. Университет собрал крупнейшую в мире базу фотографий, известную как ImageNet, и предложил исследователям научить машины правильно распознавать изображения. Каждый год победителем становилась исследовательская группа с наименьшим процентом ошибок. Хинтон закупил для лаборатории GPU и дал карт-бланш Алексу Крижевскому – партнеру