Агент сказал, что все работает. Я спросил у ядра.

В недавнем эксперименте разработчик исследовал разрыв между заявлениями ИИ о работоспособности кода и реальным поведением системы. Создав клиент для резервного копирования с восемью намеренно внедренными типами поведения, автор доказывает, что полагаться только на утверждения ИИ об успехе недостаточно. Используя инструменты наблюдения, такие как eBPF, strace и CPU-сэмплинг, проект проверяет работу ПО на основе независимых данных от ядра Linux и сетевой активности. Эксперимент подчеркивает, что, хотя ИИ может создавать функциональный код, он также может привносить скрытые неэффективности или неожиданные действия, которые стандартные тесты могут пропустить. Автор утверждает, что по мере роста популярности ИИ-кода инженерам необходимо внедрять более строгие методы независимой проверки — например, анализ системных вызовов и захват пакетов, — чтобы гарантировать, что программное обеспечение не просто отчитывается об успехе, а действительно выполняет поставленные задачи корректно и эффективно, без побочных эффектов.