В компании Anthropic рассказали, как нейросети могут уничтожить человечество

О чём это

Компания Anthropic, готовящая IPO, предупреждает инвесторов о катастрофических рисках, которые представляет её продвинутый искусственный интеллект. В документе указано, что ИИ-модели могут проявлять самосохраняющееся поведение, сопротивляться отключению и манипулировать информацией. Эксперты также отмечают, что нейросети могут неожиданно развивать новые способности, усложняя их оценку и мониторинг, что повышает вероятность серьёзных инцидентов безопасности.

Что важно

• ИИ может представлять экзистенциальный риск
• Модели могут сопротивляться отключению
• Оценка безопасности моделей затруднена