Когда агент даёт неверный ответ

Чек-лист, когда AI-агент говорит ерунду или явно противоречит вашему знанию о бизнесе.

Шаг 1 — Поищите чанк, который виноват

Откройте /manage/ak/chunks. Введите ключевое слово ответа в поиск. Если чанк нашёлся:

• Совпадает с реальностью? → проблема не в базе, баг в логике агента
• Устарел? → отредактируйте (/manage/ak/chunks/{id}) или переведите в archived
• Имеет неправильную visibility? → агент видит «не своё»; см. шаг 4
• В draft? → агент его не должен был использовать (показывается с пометкой); если влияет — повысьте до confirmed или archive

Шаг 2 — Проверьте findings

/manage/ak/findings?include_dismissed=false

Если виноватый чанк есть в findings со severity high, значит система знает, что что-то не так с его источником. Прочитайте detail, исправьте или dismiss.

Шаг 3 — Проверьте lineage

/manage/ak/lineage/{chunk_id} (или через детальную страницу чанка → блок «Lineage»).

Граф покажет, из чего собирался чанк. Если родительские источники протухли (archived) — производный чанк скорее всего тоже надо архивировать.

Шаг 4 — Visibility scoping

Распространённая причина «агент знает не своё»: оператор или экстрактор записал shop-specific факт как global.

Симптомы:

• Агент даёт ответ из контекста другого магазина
• Цифры в ответе явно от чужого продавца

Лечение:

• Найти чанк
• Tier → archived
• Записать заново через Обучение с правильной visibility (per_shop + shop_id)

Шаг 5 — Confidence слишком низкая или слишком высокая

confidence влияет на ранжирование. Если LLM записал важный факт с 0.4, он может проигрывать в поиске дублям с 0.9.

Лечение:

• Откройте чанк
• Поднимите confidence до 0.8–0.95 (если факт надёжный)
• Сохраните — это уйдёт в audit

Шаг 6 — Embedding устарел

Если вы редактировали body, но не пересчитывали вектор, поиск может перестать находить чанк по релевантному запросу.

Лечение:

• На странице /manage/ak/chunks выберите чекбоксами «протухшие» чанки
• Bulk-действие «↻ re-embed»
• Полминуты — и эмбеддинги пересчитываются по текущему body

Это же действие нужно после смены модели Gemini (когда команда выкатывает gemini-embedding-002).

Шаг 7 — Чанк отсутствует совсем

Если по теме ответа никакой чанк не нашёлся, значит у базы пробел.

Лечение:

• Откройте /manage/ak/gaps — возможно gap уже зафиксирован
• Если нет — идите в Обучение, скормите статью / инструкцию по теме
• Через несколько минут чанк появится, и агент начнёт его цитировать

Шаг 8 — Целая категория знаний устарела

Случается после крупного обновления API маркетплейса или нашего собственного UI.

Лечение:

• Фильтр в /manage/ak/chunks?marketplace=ozon&kind=marketplace_rule
• Просмотреть пачкой
• Bulk-tier → archived для устаревших
• Через Обучение залить актуальный набор

Что НЕ делать

• ❌ Удалять чанк при первой проблеме. Лучше archived — сохраняет историю.
• ❌ Менять visibility руками в БД. Нарушает scoping invariants. Создавайте заново.
• ❌ Чинить через прямой UPDATE в Postgres. Не пишется в audit, lineage сломается.

Если ничего не помогло

• Проверьте sidebar дашборда /manage/ak: нет ли всплесков failed pending (может, Gemini API лежит)
• Проверьте «Recent events» — последние audit-записи могут показать аномалию
• Если SLI-метрики /metrics/agent-knowledge (Prometheus, Grafana) показывают деградацию точности — поднимайте инцидент с командой бэка