Может ли ваш ИИ использовать то, что он помнит?

Недавнее исследование под названием «InMind» подчеркивает критический пробел в памяти ИИ-агентов: разницу между способностью вспомнить факт при прямом запросе и применением этого факта для решения соответствующей задачи. Используя 125 синтетических тестов, исследователи обнаружили, что, хотя модели часто демонстрируют высокий уровень прямого воспроизведения, их способность интегрировать сохраненные ограничения в косвенные запросы значительно ниже. В статье утверждается, что текущие методы оценки часто не позволяют отличить успешное извлечение из памяти от логических выводов, основанных на общих знаниях. Чтобы решить эту проблему, автор предлагает строгую систему тестирования, которая отделяет процесс извлечения данных от выполнения задачи. Используя независимые тестовые примеры, разработчики могут лучше диагностировать, на каком этапе происходят сбои: при захвате, извлечении или применении памяти. В конечном итоге, автор подчеркивает, что для реальной полезности ИИ-помощников тестирование должно выйти за рамки простого воспроизведения фактов, чтобы измерять, как память влияет на поведение в рабочих процессах.