VikingMem: долгосрочная память для LLM без раздутых промптов

Базовая единица памяти — событие (event): дискретная, временно-метированная, семантически целостная запись, извлечённая из входного потока. Каждый тип события описывается схемой в JSON-подобном формате: EventType, Description и набор Properties с типами и описаниями. Схема одновременно ограничивает (не даёт сохранять шум) и направляет LLM при извлечении.

Сущность (entity) — персистентное, эволюционирующее состояние: профиль пользователя, библиотека инструментов агента, прогресс ученика. Схема сущности содержит поля с AggregateExpression — выражением, которое указывает, какие события обновляют этот атрибут и каким оператором.

Операторы реализуют логику эволюции:

TIME_COMPRESS работает по принципу «ленивого слияния»: свежие события хранятся с высокой детализацией, а события в неактивных тематических ветках после истечения временного окна синтезируются в сводку; после сохранения сводки исходные события получают TTL и со временем удаляются.

Связь между событиями и сущностями выражается как параметрический запрос, а не зашитый в промпт код: keys задаёт группировку (по пользователю, паре пользователь–ассистент, теме), filters — окно отбора, Op — оператор из фиксированной библиотеки. Прикладная логика появляется только на краях пайплайна — в шаблонах извлечения и внутри LLM-операторов.

Однопроходное извлечение (one-pass extraction). Традиционный подход требует отдельного LLM-вызова на каждый тип памяти. VikingMem компилирует все схемы событий и сущностей в один промпт и обрабатывает входные данные за один инференс. Это напрямую снижает стоимость и задержку.

Prefix-cache оптимизация. Системная инструкция и схемы памяти фиксированы между запросами — их KV-кеш переиспользуется, что дополнительно снижает потребление токенов.

Интеллектуальная сегментация (Intelligent Memory Segmentation, IMSM) работает в два этапа. Первый — семантическая фильтрация значимости: LLM отсеивает приветствия и прочий наполнитель. Второй — разбиение на события: LLM выдаёт список пар (start, end) — координаты тематических сегментов — что позволяет объединять несмежные фрагменты одной темы. Если разговор переходил от рекурсии к игровому алгоритму и обратно, метод объединит оба фрагмента про рекурсию в одно событие, исключив шум.

Entity Update Algorithm (EUA). Обновление строковых полей сущности обычно требует второго LLM-вызова. EUA устраняет это: при извлечении LLM генерирует компактный патч в формате <<<< SEARCH …​ ==== …​ >>>> REPLACE, а EUA применяет его через приближённый поиск по редакционному расстоянию, устойчивый к мелким неточностям модели. Никакого дополнительного LLM-вызова не нужно. При каждом обновлении VikingMem предварительно извлекает из VikingDB топ-5 кандидатов сущностей через ANN-поиск и включает только их в промпт — длина контекста остаётся управляемой.

Многопутный recall с time-decay и бизнес-весами. Основной путь — гибридный поиск (dense + sparse). Итоговый скор каждого кандидата: взвешенная сумма нормализованного скора поиска, временно́го скора (экспоненциальный спад после настраиваемого окна свежести) и бизнес-скора (приоритеты по типу или весу конкретного события). Вспомогательный путь — граф ключевых слов, где embedding ключевого слова усредняется из embeddings содержащих его сегментов; это покрывает запросы вроде «помнишь мой никнейм?», где семантическое сходство с воспоминанием низкое.

Multi-vector reranking вдохновлён ColBERT: векторы для reranking предвычисляются при сохранении события, применяются квантизация и token-merge для сжатия. Cross-encoder типа mGTE даёт p99 задержку в секунды; ColBERT-подобный подход удерживает reranking в пределах десятков миллисекунд.