Разработка оружия массового поражения — новый критерий опасности ИИ
Компания Anthropic, один из ведущих разработчиков искусственного интеллекта, пересмотрела свою политику "ответственного масштабирования", чтобы определить критические моменты, когда ее модели ИИ становятся слишком мощными и требуют усиленных мер безопасности.
Ключевым пороговым показателем теперь является способность модели ИИ помочь в разработке оружия массового поражения.
По информации CNBC, внутренние тесты компании будут активировать дополнительные протоколы безопасности, если модель ИИ окажется способной помочь государству со средними ресурсами разрабатывать химическое или биологическое оружие.
К другим настораживающим признакам отнесена способность модели полностью автоматизировать работу младших научных сотрудников в Anthropic или ситуация, когда возможности ИИ начинают слишком стремительно ускорять технический прогресс.
Anthropic, судя по всему, выполняет свои предыдущие обещания, создавая "совет по управлению рисками" и внутреннюю группу безопасности. Компания также использует методы контрнаблюдения в стиле Холодной войны, проводя регулярное сканирование офисов на предмет скрытых шпионских устройств.
Не ясно, будут ли эти меры достаточными для контроля над стремительным развитием технологий ИИ.