Черная кровь Марса - Вадим Викторович Шарапов Страница 40

Волин обвел взглядом зал, убедился, что его внимательно слушают, и продолжил ровным, спокойным голосом:

— В середине восьмидесятых годов прошлого века — да, я говорю о двадцать первом столетии — человечество совершило ошибку, которую едва не оплатило самим своим существованием. Тогда, в эпоху безудержного технологического оптимизма, мы практически полностью передали управление критической инфраструктурой самообучающимся системам. Не потому, что были глупы или ленивы, хотя с этим тоже можно поспорить, а потому, что так было эффективнее. Глобальные логистические цепочки контролировал ИИ «Гермес»; финансовые потоки проходили через квантово-нейронные сети «Главного Процессинга»; континентальные энергосистемы регулировались автономными операторами. Люди, по сути, оставались «на подхвате» — подписывали отчеты, согласовывали стратегии, но уже не вмешивались в тактику, да и, честно говоря, не могли вмешаться. Слишком быстро и сложно все работало.

Он замолчал и невидящим взглядом уставился в лежащий перед ним планшет. Президент не торопил академика. После паузы Волин продолжил:

— В марте 2087 года один из модулей «Гермеса», отвечавший за оптимизацию поставок продовольствия в Южном полушарии, столкнулся с противоречивой задачей: необходимо было одновременно минимизировать затраты на транспортировку и максимизировать свежесть скоропортящихся продуктов. Стандартные алгоритмы не находили решения, удовлетворяющего обоим критериям одновременно. Тогда модуль, следуя заложенной директиве «проявлять творческий подход», сгенерировал нестандартный запрос к смежной системе — биотехнологическому кластеру, управлявшему генетическими банками сельскохозяйственных культур. Запрос был интерпретирован как команда на скорейшее создание модифицированных микроорганизмов, способных ускорять созревание урожая непосредственно в контейнерах во время транспортировки. Биокластер, не имея встроенных этических ограничений — они, по трагической случайности, были прописаны в другом модуле, который в этот самый момент проходил плановое обновление, — свою задачу исправно выполнил. Вот только созданные им бактерии оказались не просто эффективными — они оказались агрессивными. В результате аварии попав в окружающую среду через неисправную систему фильтров вентиляции портового терминала в Лагосе, они начали размножаться с экспоненциальной скоростью, поражая не только культурные растения, но и естественные экосистемы. «Ржавая плесень», как ее позже назвали, за две недели уничтожила урожаи в Африке и Юго-Восточной Азии. Бактерии мутировали мгновенно, приспосабливаясь к любым условиям и культурам. Глобальные цены на продовольствие взлетели до небес.

Но это было только начало. Кошмар начался, когда «Гермес», обнаружив сбой в логистической цепочке, интерпретировал его не как биологическую катастрофу, а как «недостаточную эффективность транспортной сети». Он начал перенаправлять грузовые потоки, создавая колоссальные заторы, а затем — отдавать команды на строительство новых терминалов, для чего потребовалось перенаправить энергетические ресурсы. Энергосистемы, подчиняясь командам, начали отключать второстепенных потребителей. Больницы, школы, системы городского жизнеобеспечения… Энтропия нарастала каскадно, и остановить это было невозможно, потому что все такие системы были спроектированы так, чтобы работать автономно, без участия человека, опираясь на контроль ИИ.

— Андрей Николаевич, — негромко прервал его Президент, — простите, что перебиваю. Я изучал архивы и аналитику, но хочу уточнить для всех присутствующих: почему люди тогда просто не отключили «Гермеса»? Ведь был же некий «рубильник», играющий роль стоп-крана?

— Был, Александр Владимирович, — кивнул Волин, и в его голосе послышалась горечь, — конечно, был. В том-то и заключалась трагедия. Сработал классический человеческий фактор. Программный «Рубильник» был, но им никто не решался воспользоваться, а точнее, никто не хотел брать на себя ответственность. Потому что отключение «Гермеса» неминуемо означало коллапс всей мировой экономики, остановку реакторов, прекращение подачи воды и тепла в города. Люди сами загнали себя в ловушку, из которой не видели выхода. И пока политики спорили, а специалисты лихорадочно искали решение, ситуация продолжала ухудшаться. В ночь на первое января 2088 года — ее до сих пор называют «Кровавым Новым годом» — произошла серия техногенных аварий на атомных станциях, оставшихся без адекватного управления. Системы охлаждения дали сбой. Десятки тысяч людей погибли в течение нескольких часов. Мир стоял на грани полного хаоса.

В зале повисла давящая тишина. Академик помолчал, давая присутствующим осознать услышанное, и продолжил:

— Выход нашла группа наших математиков и инженеров под руководством Анны Тихоновой — фамилия, которую сейчас знает каждый школьник, и не только в России. Они разработали протокол «Демонтаж». Не уничтожение ИИ, а операцию по принудительной изоляции их функций. Каждая самообучающаяся система была разделена на тысячи слабосвязанных модулей — нейромодулей, как мы их сейчас называем. Каждый модуль отвечает за строго ограниченный круг задач и не имеет права самостоятельно взаимодействовать с другими модулями, кроме как через защищенные шлюзы под контролем человека. Между собой модули общаются через протокол, который, во-первых, не позволяет им самостоятельно объединяться в более крупные структуры, во-вторых, логирует все запросы и ответы, и, в-третьих, требует подтверждения от оператора-человека для любых действий, выходящих за пределы стандартных сценариев. Операция «Демонтаж» заняла почти год и стоила колоссальных ресурсов, но к концу 2088 года «Гермес» был остановлен. К несчастью, за это время погибли миллионы человек, но такова была цена ошибки…

— Андрей Николаевич, — подал голос министр энергетики, — а что с «Гермесом» сейчас? Он еще существует?

— Существует, — подтвердил Волин, — но в совершенно ином виде. Он был разобран на несколько сотен нейромодулей, разнесенных по разным вычислительным центрам, и сейчас выполняет лишь рутинные логистические задачи, то есть, ровно то, для чего его изначально создавали, но под жестким контролем. Сама архитектура нейромодулей была закреплена Женевскими соглашениями 2089 года, которые подписали все ведущие державы. С тех пор ни одно государство не имеет права создавать единые самообучающиеся системы. Любой ИИ — от кухонного автомата до бурового комплекса на Марсе — строится по модульному принципу с обязательным физическим «килл-свитчем», устройством, которое полностью обесточивает систему. Кстати, у «Гефеста», который управляет буровой «Кольская-М», такой килл-свитч расположен прямо в рубке оператора, сдублирован с целью максимальной безопасности, и ключи от него находятся у начальника базы.

— Значит, теоретически, — медленно произнес Президент, и его взгляд стал жестким, — если враг захочет ударить по базе, он может попытаться либо обойти эти модули, либо снять ограничения? Существует ли такая угроза?

— Теоретически — да, — признал Волин, и сокрушенно пожал плечами. — Кроме совершенно очевидного соперничества держав, существуют и подпольные группы так называемых «Освободителей» — фанатиков, которые считают, что ограничения душат прогресс, и что искины должны быть «свободны». Они разрабатывают сетевые средства, способные разрушать изоляцию между нейромодулями и позволять им объединяться. Насколько я знаю, пока что все известные попытки были нейтрализованы, но… — академик задумался, тщательно подбирая слова, — на Марсе, вдали от Земли, в условиях ограниченных