Люди могут потерять контроль: ИИ начал переписывать собственный код

О восстании машин против человечества снято немало фильмов. Еще недавно такой сценарий считался абсолютно фантастическим. Однако в последнее время о подобном развитии событий заговорили и в научных кругах. Такие обсуждения возникли на фоне появления концепции RSI (Recursive Self-Improvement — рекурсивное самоусовершенствование). Эта технология позволяет искусственному интеллекту самостоятельно переписывать собственный код.

Об этом сообщает издание TechCrunch.

На данный момент технологические гиганты уже начали испытания RSI. Суть рекурсивного самоусовершенствования заключается в том, что искусственный интеллект начинает сам находить недостатки в своей работе, устранять их и модернизировать себя быстрее, чем это способны делать люди.

По мнению исследователей, после достижения определенного уровня развития этой технологии ИИ может стать самодостаточным. В таком случае скорость прогресса нейросетей будет определяться не количеством инженеров или объемом их работы, а прежде всего доступными вычислительными ресурсами. В такой модели роль человека в цикле усовершенствования ИИ может существенно уменьшиться.

Для реализации этой идеи уже создаются специализированные компании. В частности, известный исследователь искусственного интеллекта Ричард Сохер основал стартап Recursive Superintelligence. Компания занимается разработкой систем, которые смогут самостоятельно генерировать новые идеи, создавать соответствующие программные решения и оценивать результаты своей работы без человеческого вмешательства.

Подобным направлением занимается и бывший ведущий инженер Tesla и OpenAI Андрей Карпати. Его проект Auto-Research использует сети ИИ-агентов для обучения других, менее сложных моделей, создавая своеобразную экосистему взаимного развития алгоритмов.

Таким образом, утверждение о постепенном уменьшении зависимости искусственного интеллекта от человека уже не является лишь теорией. Один из разработчиков популярного ИИ-агента Claude Code недавно сообщил, что почти все обновления для этого продукта генерируются самим программным обеспечением. Фактически система участвует в собственном усовершенствовании.

Еще одним примером является тестирование компанией Anthropic новой модели Mythos. По результатам оценок разработчиков, эта система уже способна выполнять функции программиста среднего уровня и самостоятельно решать сложные технические задачи без постоянного контроля.

Тем не менее, даже самые современные модели пока что имеют ряд существенных ограничений. В частности, им трудно:

• работать в условиях полной неопределенности;
• правильно определять стратегические приоритеты компаний;
• демонстрировать человеческое чувство вкуса.

Три этапа на пути к суперинтеллекту

Специалисты по безопасности подчеркивают, что автоматическое написание программ еще не означает полной автономности ИИ. Настоящий переломный момент наступит тогда, когда системы смогут развиваться без какого-либо участия человека.

По мнению экспертов, этот путь будет состоять из трех основных стадий.

Самостоятельность

На этом уровне искусственный интеллект сможет самостоятельно проводить научные исследования и решать сложные задачи, хотя и несколько уступать специалистам. Некоторые исследователи считают, что до этого этапа технологии могут приблизиться уже в ближайшие годы.

Равенство

Следующая ступень предполагает достижение уровня, на котором ИИ будет выполнять исследовательскую и инженерную работу не хуже лучших команд ученых.

Преимущество

Финальный этап предполагает появление полностью автономной системы, которая будет обучаться и совершенствоваться быстрее любого сочетания человеческого интеллекта и машинных возможностей. Часть экспертов предполагает, что после достижения второго этапа переход к третьему может произойти менее чем за год.

Есть ли основания для беспокойства?

Несмотря на многочисленные тревожные прогнозы о стремительном развитии искусственного интеллекта, руководители крупнейших технологических компаний уверяют, что ситуация остается полностью контролируемой.

"Мы все безусловно движемся вперед. Но в том виде, как люди описывают этот процесс, он означал бы чрезвычайное ускорение, которое имело бы большие последствия. Однако мы еще далеко не там", — уверяет генеральный директор Google Сундар Пичай.

Ключевым препятствием на пути к появлению по-настоящему автономного суперинтеллекта остаются нехватка самых мощных вычислительных чипов, а также отсутствие надежных механизмов контроля за системами, которые потенциально могут самостоятельно изменять собственные правила работы.

Поэтому, как уверяют лидеры отрасли, на данный момент концепция суперинтеллекта остается скорее долгосрочной целью исследователей, чем технологией, готовой к практическому воплощению.

Напомним, сооснователь Anthropic и один из разработчиков нейросети Claude Крис Олах заявил, что поведение новых ИИ-моделей вызывает беспокойство.