Почему AI забывает всё, и как это чинится памятью

В переписке с ассистентом на прошлой неделе согласовали условия, а сегодня на тот же вопрос он отвечает как в первый раз. Дело не в том, что модель "тупая". Дело в том, что она физически не хранит прошлое: каждый новый разговор начинается с чистого листа, а все, что не поместилось в окно контекста, исчезает без следа

Окно контекста работает не как диск, а как оперативная память. Пока переписка укладывается в лимит модели, она держит ее целиком, но стоит диалогу закрыться или контексту переполниться, и все сказанное пропадает: это не файл на сервере, а временный буфер под один запрос. Даже внутри лимита точность падает по ходу разговора, чем длиннее переписка, тем чаще модель путает условие, которое проговорили в самом начале, или вовсе теряет его

Решение звучит просто, а собрать сложно: важные факты не держат в окне разговора, а выносят в отдельную базу памяти. Когда клиент пишет снова, агент не пытается "вспомнить сам", а делает короткий запрос в эту базу, кто это, что обсуждали, на чем остановились, и подставляет ответ в контекст еще до того, как начнет отвечать. Для клиента диалог не прерывался никогда, хотя технически это каждый раз новый разговор с моделью

На практике это выглядит так. Клиент в понедельник согласовал скидку 15% и срок поставки, менеджер это подтвердил в переписке. Через две недели клиент возвращается с вопросом по тому же заказу. Бот без памяти начинает сначала, уточняет условия заново, а иногда даже называет другие цифры, и клиент справедливо злится: "мы же это уже обсуждали". Агент с памятью поднимает факт из базы за секунды, отвечает по существу и ведет сделку дальше, а не переигрывает переговоры с нуля

Память не панацея. Если в базу пишут подряд весь диалог без разбора, через полгода там столько же мусора, сколько в блокноте менеджера, который не ведет записи. Нужна дисциплина: решить, что именно сохраняется как факт (решения, договоренности, статус сделки), а что не нужно вообще. И нужен процесс, кто помечает факты устаревшими, иначе агент однажды сошлется на скидку, которую отменили два месяца назад

Начинать стоит не с выбора модели с самым большим окном контекста, это все равно не решает проблему по сути. Начинать нужно с вопроса, какие факты о клиенте обязаны жить дольше одного разговора. Дальше это уже архитектура: база фактов, правило, что в нее попадает, и агент, который умеет туда заглянуть до того, как ответить