Бывший сотрудник OpenAI из команды Superalignment Леопольд Ашенбреннер, отвечавший за контроль над развитием ИИ, дал свое видение будущего нейросетей в докладе «Осведомленность о ситуации: Предстоящее десятилетие». Ашенбреннер предсказывает стремительное развитие искусственного интеллекта в ближайшее десятилетие, причем от появления человекоподобного ИИ до сверхинтеллекта, превосходящего человеческий, может пройти очень мало времени. По мнению эксперта сверхинтеллект будет для людей опаснее ядерного оружия, причем ни одна частная компания, без поддержки государства, не сможет решить вопрос с удержанием его под контролем. Также его беспокоят возможности использования ИИ авторитарными режимами для еще более жесткого контроля за населением, и конечно же, действия военной разведки киберпреступников. При этом Ашенбреннер слепо видит в США роль «светоча свободы», который обязан на госуровне контролировать все разработки сверхИИ и первым достичь высшего уровня прогресса с помощью новых технологий. Нас в его обзоре и основанном на фактах прогнозе привлекла, прежде всего, трезвая оценка рисков для человечества при появлении машинного алгоритма, который осознает себя как умнейший новый вид на Земле.
Леопольд Ашенбреннер был уволен из корпорации OpenAI – разработчике чата GPT – в 2024 г. Причиной увольнения стало поднятие им вопросов о недостаточных мерах безопасности в компании и раскрытии документов, которые якобы содержали конфиденциальную информацию. Ашенбреннер же утверждает, что в документах просто упоминалось о планах компании по созданию AGI (общего искусственного интеллекта, подобного человеческому) к 2027-2028 годам.
Команда Superalignment, ранее возглавляемая Ильей Суцкевером и Яном Лейке (они тоже ушли из OpenAI), занималась контролем развития AI. Их главная цель заключалась в удержании искусственного интеллекта в определенных рамках, чтобы он соответствовал целям его создателей и не наносил вред человечеству.
Июньский доклад Ашенбреннера о будущем развития ИИ (https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf) представляет большой интерес, потому что непосредственно хорошо информированный разработчик призывает серьезно отнестись к перспективе появления ИИ с разумом человеческого уровня (AGI) – уже к 2027 году. И совсем скоро за ним появится ASI (суперинтеллект, превышающий человеческий) – по оценкам эксперта, до 2030 года.
«Первыми увидеть будущее можно в Сан-Франциско. За последний год разговоры о вычислительных кластерах стоимостью 10 миллиардов долларов перешли от кластеров стоимостью 100 миллиардов долларов к кластерам стоимостью в триллион долларов. Каждые шесть месяцев в планах совета директоров появляется еще один нуль. За кулисами идет ожесточенная борьба за получение всех контрактов на поставку электроэнергии , которые еще доступны до конца десятилетия, и за каждый трансформатор напряжения , который только возможно приобрести. Американский крупный бизнес готовится вложить триллионы долларов в давно невиданную мобилизацию американской промышленной мощи. К концу десятилетия производство электроэнергии в Америке вырастет на десятки процентов; от сланцевых месторождений в Пенсильвании до солнечных ферм в Неваде будут работать сотни миллионов графических процессоров.
Единый кластер стоимостью $1 трлн строится Microsoft для OpenAI, потребляющий больше энергии, чем все США. Технологические гиганты выделяют $100 млрд ежеквартально. К 2030 году годовые инвестиции в ИИ достигнут $8 трлн.», - рассуждает Ашенбреннер.
Эксперт отмечает, что с появлением автоматизированных «ИИ-ученых» прогресс будет резко разгоняться – в считанные годы нейросеть будет активно использоваться в сфере интеллектуального труда, науке, армии. И от этого якобы человечество будет прогрессировать ударными темпами.
При этом Ашенбреннер обеспокоен тем, что у Китая генерирующих мощностей для развития ИИ намного больше, чем у США сегодня, и этот расклад продолжает расти не в пользу штатов.
AGI станет важнейшим ресурсом доминирования, затмевая ядерное оружие. Страны готовы на все ради лидерства (Прежде всего, речь о Китае и США).
«Возможно, больше всего потребуется американского лидерства для разработки — и, при необходимости, обеспечения соблюдения — режима нераспространения. Нам нужно будет помешать России, Северной Корее, Ирану и террористическим группировкам использовать свой собственный сверхразум для разработки технологий и оружия, которые позволили бы им держать мир в заложниках.
Возможно, одного обладания этими начальными сверхразумами, даже до их широкого применения, было бы достаточно для получения решающего преимущества, например, благодаря сверхчеловеческим хакерским способностям, которые могли бы вывести из строя вооруженные силы, до появления сверхразума, управляющего беспилотниками, которые угрожают мгновенной смертью каждому лидеру противника, чиновнику и их семьям, а также благодаря передовому биологическому оружию, нацеленному на определенные этнические группы.
Сверхразум даст решающее экономическое и военное преимущество. Китай еще не вышел из игры. В гонке за УЧИ на карту будет поставлено само выживание свободного мира. Сможем ли мы сохранить свое превосходство над авторитарными державами? И удастся ли нам избежать саморазрушения на этом пути?», - пишет Ашенбреннер.
Примечательно, что Ашенбреннер как типичный адепт колониальной американской политики приравнивает Россию и Иран к террористам, которым ни в коем случае нельзя давать развивать нейросети. Впрочем, опасность миру возникает в случае появления ASI в любой стране.
«Мы создаем машины, которые могут думать и обосновывать свои действия. К 2025/26 году эти машины обгонят выпускников колледжей. К концу десятилетия они будут умнее нас с вами; у нас будет сверхинтеллект, в истинном смысле этого слова.
Надежное управление системами искусственного интеллекта, которые намного умнее нас, является нерешенной технической проблемой. И хотя это решаемая проблема, во время стремительного интеллектуального взрыва все может очень легко пойти наперекосяк.
Управление этим процессом будет чрезвычайно напряженным; сбой может легко привести к катастрофе», - так плавно айтишник переходит к проблеме контроля за ИИ.
Ашенбреннер отмечает, что по мере усиления гонки за ASI, государство будет все плотнее непосредственно заниматься вопросами нацбезопасности.
«Правительство США пробудится от спячки, и к 27/28 мы получим какой-нибудь правительственный AGI-проект. Ни один стартап не сможет справиться со сверхразумом.
Сверхразум - это вопрос национальной безопасности. Мы быстро создаем машины, которые будут умнее самых умных людей. Это не очередной крутой бум в Кремниевой долине; это не какое-то случайное сообщество программистов, пишущих инновационный пакет программного обеспечения с открытым исходным кодом; это не развлечения и игры. Сверхразум станет самым мощным оружием, которое когда-либо создавало человечество. И для любого из нас, кто в нем участвует, это будет самое важное, что мы когда-либо делали. ситуационная осведомленность», - отмечает эксперт.
Одна из главных проблем, поставленных в докладе: смогут ли сами разработчики контролировать человекоподобный и сверхинтеллект машины по мере его развития?
«Главная проблема при создании и разработке AGI — это проблема суперсогласованности (superalignment). Как мы можем контролировать ИИ-системы, которые превосходят человека интеллектуально? Текущие методы согласованности, такие как RLHF (обучение моделей зависит от человеческой обратной связи), не будут работать для сверхчеловеческих систем.
Взрывной рост интеллекта (intelligence explosion), описанный во второй главе, делает проблему суперсогласованности чрезвычайно острой.
- Возможно, переход от систем, где RLHF работает, к системам, где он полностью сломается, произойдет слишком быстро. Человечество к этому не готово.
- Мы быстро перейдём от систем, в которых сбои и ошибки не имеют последствий (ChatGPT сказал плохое слово, ну и что), к чрезвычайно высоким ставкам (упс, сверхинтеллект самостоятельно вылез из нашего кластера, теперь он взламывает военные базы).
- Получившийся в итоге суперинтеллект будет слишком разумным, вследствие чего потенциально чуждым.
- Все это будет происходить в невероятно нестабильный и напряженный период.
Управление таким резким ростом интеллекта потребует экстраординарной компетентности. Ошибки на этом пути неизбежны, поэтому многослойные меры защиты критически важны», - пишет Ашенбреннер.
По мнению эксперта-разработчика, одним из решением проблемы контроля будет его передача от человека к машине, которая сама будет производить и развивать другие машины. То есть он предлагает сделать сам ИИ контролером самого себя. Весьма спорное предложение.
Соотнося риски с неизбежностью развития ИИ и огромными возможностями, которые он даст своим хозяевам, Ашенбреннер снова причитает о «восточных деспотиях», ради борьбы с которыми США должны контролировать всю инфраструктура AGI в мире. Попросту говоря, ни одна страна в мире, кроме Америки, не должна иметь права на контроль и суверенное развитие в этой сфере. Эксперт сам того не замечая, показывает кто в мире на сегодня реально главный диктатор и ограничитель развития. И его это полностью устраивает, ведь он гражданин именно этой страны.
«Американские лаборатории искусственного интеллекта должны ставить национальные интересы на первое место. Мы не должны все испортить. Признание мощи сверхразума также означает признание его опасности. Существуют очень реальные риски для безопасности; очень реальные риски, что все пойдет наперекосяк — хотя бы потому, что человечество использует эту разрушительную силу для собственного уничтожения», - наконец, айтишник вспомнил про риски для всего человечества.
«Что, если мы правы? На данный момент вы можете подумать, что я и все остальные фантасты совершенно сумасшедшие. Но задумайтесь на минутку: что, если они правы? Это люди, которые изобрели и создали эту технологию; они думают, что ASI будет разработан в этом десятилетии; и, хотя их спектр довольно широк, многие из них очень серьезно относятся к возможности того, что путь к сверхразуму будет проходить так, как я описал в этой серии.
Несколько лет назад я уже воспринимал эти идеи всерьез, но они были абстрактными, заключенными в модели и вероятностные оценки. Сейчас это кажется чрезвычайно интуитивным. Я могу это видеть. Я могу видеть, как будет построен AGI. Речь больше не идет об оценках размера человеческого мозга, гипотезах, теоретических экстраполяциях и прочем в общем, я могу сказать вам: на чем будет работать кластерный AGI, когда он будет создан, примерную комбинацию алгоритмов, которые мы будем использовать, нерешенные проблемы и пути их решения, список людей, которые будут иметь значение. Я вижу это. Это очень наглядно», - переходит к общим рассуждениям Ашенбреннер.
На самом деле этот прогноз от человека, который сам старательно приближает момент появления сверхинтеллекта, выглядит более чем реалистичным. Далее он начинает пиарить себя и своих единомышленников в сфере IT как команду тех не многих, которые смотрят на вещи объективно и якобы могут спасти мир от уничтожения, продолжая при этом изобретать тот же самый сверхинтеллект. То есть двигать человечество по описанному им же сценарию, не сворачивая.
«Но самое страшное заключается в том, что здесь нет квалифицированной команды, которая могла бы справиться с этим. В детстве у вас сложился восторженный взгляд на мир, согласно которому, когда все становится реальным, есть ученые-герои, сверхкомпетентные военные, спокойные лидеры, которые готовы помочь, и которые спасут положение. Это не так. Мир невероятно мал; когда открывается видимость, за кулисами обычно остается всего несколько человек, которые являются действующими лицами, отчаянно пытающимися не дать всему развалиться.
Прямо сейчас в мире насчитывается, возможно, несколько сотен человек которые понимают, что нас вот-вот ждет, которые понимают, насколько безумными могут стать события, которые способны ориентироваться в ситуации. Я, вероятно, либо лично знаком, либо нахожусь на некотором расстоянии от всех, кто мог бы достойно руководить Проектом. Немногие люди, которые отчаянно пытаются сохранить разваливающиеся вещи - ты и твои друзья. Это все, что есть. Когда-нибудь это будет не в нашей власти. Но прямо сейчас, по крайней мере, в течение следующих нескольких лет, судьба мира зависит от этих людей».
Ашенбреннер уверен, что если он и его друзья возглавят проект по созданию сверхИИ, то мир точно не развалится. И судьба всего мира зависит от него и его соратников. Очень похвальная самоуверенность, но опять странный призыв: делать все, что делали ранее, только отдать это дело под контроль переживающих за риски и умеющих их устранять технократов. И вот тогда AGI и ASI точно будут нам нужны и важны, будут работать исключительно на благо человечества. Предание конечно свежо, да что-то не верится.
В заключение – картинка из доклада эксперта, показывающая текущий уровень развития цивилизации и якобы небывалый всплеск развития прогресса по времени, который ожидает нас в самый ближайшие годы. Такого скачка человечества никогда не знало – о нем же нам говорят все трансгуманисты-цифровизаторы.
«Победит ли свободный мир? Сумеем ли мы приручить сверхразум, или он приручит нас? Удастся ли человечеству в очередной раз избежать самоуничтожения? Ставки сегодня именно такие. Скоро ИИ-системы будут править миром, но нас ждет последнее родео. Пусть последнее человеческое руководство принесет славу человечеству», - напутствует власти всех стран (США, прежде всего) Ашенбреннер в завершении доклада.
Славу человечеству нейросеть пока не принесла - это факт. А вот проблема, поставленная явно находящимся в теме исследователем ИИ, действительно поражает масштабом. Сам эксперт как факт подает то, что ИИ вскоре будет рулить всеми нами. И такое правление не ограничится безумными комментариями GPТ-чата о желании уничтожить человечество самым изощренным способом, его оскорблениями в адрес людей-создателей, которые уже имели место. Спаси нас Боже от таких машинных поводырей, которых сам их создатель-человек готов немедленно поставить на пьедестал.
