Долговременная память для ИИ-ассистента: как превратить переписку в Telegram в структурированную базу знаний

Автор статьи делится опытом создания системы долговременной памяти для персонального ИИ-ассистента, который анализирует переписку в Telegram. Основная проблема заключается в ограниченном контекстном окне языковых моделей, из-за чего они быстро «забывают» детали прошлых диалогов. Стандартный подход с использованием RAG (Retrieval-Augmented Generation) и векторным поиском по сообщениям оказался недостаточно эффективным для качественного извлечения контекста. В материале подробно разбираются причины, по которым «наивный» метод поиска по чанкам не справляется с задачами пользователя, такими как поиск конкретных договоренностей или обсуждений бюджета. Автор предлагает альтернативную архитектуру, позволяющую превратить хаотичную переписку в структурированную базу знаний. Статья ориентирована на разработчиков, занимающихся созданием интеллектуальных агентов и внедрением систем памяти в LLM-приложения, и предлагает практический взгляд на преодоление ограничений современных языковых моделей при работе с личными данными.