Astra и Fable продолжают использовать простые варианты оценки согласованности ИИ, разработанные в 2025 году

Недавняя дискуссия на LessWrong посвящена текущему состоянию оценки согласованности (alignment) ИИ, с особым акцентом на методологии, используемые Astra и Fable. Анализ показывает, что эти организации продолжают полагаться на относительно простые и ограниченные варианты тестов, появившиеся еще в 2025 году. Автор утверждает, что, хотя эти оценки обеспечивают базовый уровень тестирования, они могут не учитывать сложность поведения продвинутых моделей или нюансы рисков, связанных с будущими системами ИИ. Продолжая опираться на эти фундаментальные, но ограниченные фреймворки, исследователи должны задуматься, достаточно ли текущих стратегий оценки для обеспечения долгосрочной безопасности. В публикации предлагается обсудить, являются ли эти упрощенные подходы необходимым этапом или потенциальным препятствием в глобальных усилиях по достижению надежного и масштабируемого согласования ИИ в условиях создания все более мощных моделей.