Воспитать человека интеллектуально,
не воспитав его нравственно,
значит вырастить угрозу для общества.
Теодор Рузвельт
Мы уже писали об эмерджентных способностях LLM. Никто не ожидал, а они вдруг осваивали арифметику, редкие языки, способность рассуждать. Люди удивлялись и радовались, но, как быстро выяснилось, оборотная черная сторона медали оказалась не менее впечатляющей. Удивление осталось, только радость сменили опасения и страхи. LLM стали демонстрировать доверчивость и внушаемость, уклонение от ответов, навязчивые идеи, стремление к своим собственным целям, способности к обману, лести, шантажу.
Даже такой энтузиаст, как Дарио Амодеи, основатель и лидер компании Anthropic, вынужден был выступить с предупреждениями об угрозах, которые несут миру LLM. В своем первом эссе 2024 года под названием «Машина любящей благодати» он рассказал о своем видении прекрасного будущего в мире ИИ. В самом начале 2026 года он опубликовал второе эссе под названием «Подростковый возраст технологий». В этом эссе Амодеи в том числе рассказал об эмерджентных и совершенно безнравственных способностях, с которыми столкнулась компания Anthropic при разработке своих LLM семейства Claude.
Надо отдать должное компании Anthropic и ее лидеру. Они не скрывают проблем, публично о них говорят и, главное, предпринимают серьезные усилия, чтобы проблемы исчезли. Часто во вред собственным коммерческим интересам.
Эссе «Подростковый возраст технологий» пропитано надеждой, что проблемы с безопасностью LLM удастся преодолеть. Надеждой, но не уверенностью. Дарио Амодеи считает разработку и обучение LLM «скорее искусством, чем наукой». Что может гарантировать человечеству такое искусство – большой вопрос. По мнению автора эссе в этом процессе «многое может пойти не так».
Отметим два важных момента.
LLM и экосистемы ИИ-агентов на их основе в ближайшие годы не будут иметь физического воплощения. Это не вооруженная толпа роботов, которая штурмует правительственные здания, дата-центры и небоскребы корпораций. Но ИИ-технологии теоретически могут взять под контроль компьютерную инфраструктуру, на которую во многих странах завязано очень многое. Если не сегодня, то через несколько лет при сохранении существующих темпов развития.
Некоторые противники ИИ-революции считают, что с ростом интеллектуальных возможностей ИИ у него обязательно появится жажда власти, которая в итоге приведет к уничтожению человечества. Во-первых, появление жажды власти вовсе не предопределено. Во-вторых, LLM могут стать угрозой для людей по другим причинам, эмерджентным, но понятным и объяснимым.
Теперь разберемся, о каких эмерджентных угрозах идет речь.
... читайте сюжет в полной версии