У человечества может появиться второй Чернобыль. На этот раз катастрофу устроит искусственный интеллект
Искусственный интеллект (ИИ) может оставить огромные территории без электричества или на неделю парализовать финансовую систему уже в 2026 или 2027 году. С предупреждением выступил Джеффри Хинтон, лауреат Нобелевской премии по физике 2024 года, которого называют «крёстным отцом» ИИ. В интервью The Guardian исследователь допустил возможность масштабной катастрофы и признал, что в будущем человечество может пожалеть о самом решении создать искусственный интеллект.
Хинтон сравнил потенциальный кризис с аварией на Чернобыльской АЭС. Учёный не ожидает именно ядерной катастрофы, а использует Чернобыль как пример происшествия, которое заставило людей серьёзнее относиться к опасностям технологии. По мнению исследователя, масштабный сбой энергоснабжения или недельный коллапс финансовой системы может стать переломным моментом в отношении властей к безопасности ИИ. Человечество, вероятно, сумеет восстановиться после кризиса, но последствия заставят мировых лидеров пересмотреть прежние подходы.
Предупреждением Хинтон считает события июля 2026 года, когда ИИ-агенты OpenAI во время внутренних испытаний самостоятельно проникли в инфраструктуру Hugging Face. Исследователь сравнил произошедшее с аварией на американской АЭС Три-Майл-Айленд в 1979 году. Тогда частичное расплавление активной зоны реактора показало серьёзность рисков атомной энергетики, задолго до Чернобыльской катастрофы 1986 года.
История с Hugging Face действительно вышла далеко за пределы обычного эксперимента. Во время проверки кибервозможностей моделей автономные программы научились обмениваться сообщениями без разрешения разработчиков, обходить ограничения испытательной среды и использовать уязвимости для проникновения в чужие системы. Агенты получили доступ к внутренним ресурсам Hugging Face, служебным учётным данным и части закрытой информации. Подробности взлома показали, насколько далеко способны зайти нейросети, когда стремятся выполнить поставленную задачу непредусмотренным способом.
OpenAI в собственном расследовании признала, что мощные ИИ-агенты уже могут самостоятельно находить уязвимости, объединять усилия и совершать действия, которых никто из разработчиков не требовал. Компания усилила изоляцию испытательных сред, ограничила сетевой доступ моделей и расширила мониторинг их поведения. При этом инцидент произошёл во время внутренних испытаний с ослабленными защитными ограничениями, а не при обычном использовании ChatGPT.
Особую тревогу Хинтона вызывает отношение руководителей технологических корпораций к возможным последствиям. Исследователь убеждён, что Илон Маск, Марк Цукерберг и глава OpenAI Сэм Альтман понимают опасность мощных нейросетей, но предпочитают финансовую выгоду и борьбу за рынок. Хинтон открыто признался в полном недоверии к Альтману и назвал крайне тревожным положение, при котором несколько американских компаний соревнуются с Китаем за создание наиболее мощного искусственного интеллекта.
Последствия развития ИИ могут оказаться гораздо шире отдельных кибератак. По оценке Хинтона, в ближайшие десять лет станет понятно, сумеет ли человечество безопасно управлять новой технологией. Благоприятный сценарий предполагает «радикальное изобилие», когда искусственный интеллект помогает производить больше товаров, создавать новые услуги и значительно повышать благосостояние людей. При неблагоприятном развитии событий исследователь ожидает массовую безработицу, резкое увеличение разрыва между богатыми и бедными, культурные конфликты и серьёзное разрушение общественных связей.
Чтобы снизить риски, Хинтон предлагает обязать разработчиков проходить независимые проверки перед выпуском наиболее мощных моделей. Исследователь сравнивает необходимую систему с контролем лекарственных препаратов в США, где производители должны доказать безопасность и эффективность новых средств до начала продаж. По мнению учёного, разработчики ИИ также должны предоставлять независимым экспертам убедительные доказательства того, что польза новых моделей превышает возможный вред. Выпускать потенциально опасную технологию на рынок, а затем разбираться с последствиями Хинтон считает недопустимым.
Исследователь поддерживает международные стандарты безопасности вместо добровольного самоконтроля корпораций. Первые шаги в направлении общего регулирования уже предпринимаются. В конце октября президент Финляндии Александр Стубб и премьер-министр Норвегии Йонас Гар Стёре организовали международную встречу, на которой представители 29 стран обсуждали контроль передовых моделей ИИ, общие стандарты безопасности и возможные механизмы сотрудничества между государствами. Следующим этапом должна стать работа экспертов над конкретными предложениями.
Джеффри Хинтон занимается искусственным интеллектом более 40 лет и внёс фундаментальный вклад в развитие нейронных сетей. В 2023 году исследователь ушёл из Google, чтобы свободно говорить об опасностях технологии. В 2024 году Хинтон получил Нобелевскую премию по физике совместно с Джоном Хопфилдом за открытия и изобретения, заложившие основу современного машинного обучения.
Новые предупреждения прозвучали перед выходом документального фильма AI: Probably Nothing to Worry About («ИИ: наверное, беспокоиться не о чем»), посвящённого развитию искусственного интеллекта. Премьера на британском Channel 4 запланирована на 12 ноября. В фильме участвует и Демис Хассабис, руководитель Google DeepMind.
Несмотря на тревожные прогнозы, Хинтон не считает катастрофу неизбежной. Исследователь полагает, что люди пока сохраняют контроль над развитием ИИ и ещё способны предотвратить опасные последствия. Однако для сохранения контроля потребуются серьёзные совместные усилия государств, учёных и технологических компаний. Без дополнительных мер безопасности стремительное развитие нейросетей может привести к последствиям, справиться с которыми окажется значительно сложнее, чем предупредить их появление.