Заказать ИИ-автоматизацию

Технологии простыми словами3 мин чтения

RAG простыми словами: как ИИ отвечает по документам компании

RAG (генерация с поиском) — способ заставить ИИ отвечать по документам компании: система сначала находит в регламентах, договорах и инструкциях подходящие фрагменты, а модель формулирует ответ только по ним и показывает источник. Так модель меньше выдумывает, а знания обновляются вместе с документами без дообучения.

Красная клавиша с открытой книгой среди клавиш с поиском и базой данных

Языковая модель знает много, но ничего не знает о вашей компании: ни учётной политики, ни условий договора с ИП, ни того, как оформлять возврат. Если спросить её об этом напрямую, она уверенно сочинит правдоподобный ответ. RAG решает эту проблему.

Откуда взялся термин

Термин ввели исследователи Facebook AI Research, Университетского колледжа Лондона и Нью-Йоркского университета в статье 2020 года «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» (Lewis и соавторы). Идея была в том, чтобы соединить модель, которая пишет текст, с поисковым индексом по внешним документам. Авторы отдельно отмечали удобство такого подхода: знания можно обновить, заменив документы, а не переобучая модель.

Как это работает

Как ИИ отвечает по документам через RAG

Что происходит между вопросом и ответом

  1. Подготовка

    Документы режут на фрагменты по 1–2 абзаца и строят по ним поисковый индекс.

  2. Вопрос

    Сотрудник спрашивает: «Какой срок возврата для юрлиц?»

  3. Поиск

    Система находит 5–10 фрагментов, которые ближе всего по смыслу к вопросу.

  4. Ответ

    Модель получает вопрос и найденные фрагменты и отвечает только по ним, со ссылкой на документ.

  5. Отказ

    Если в найденных фрагментах ответа нет, модель так и говорит.

RAG или дообучение

Два способа научить модель вашим знаниям
КритерийRAGДообучение (fine-tuning)
Что меняетсямодель та же, ей подкладывают документыменяются веса модели
Обновление знанийзаменили документ, и всёнужно дообучать заново
Ссылка на источникестьнет
Подходит дляответов по регламентам, договорам, инструкциямстиля, формата, узкой терминологии
Стоимостьнижевыше, нужны размеченные примеры

Для ответов по документам компании почти всегда выбирают RAG. Дообучение имеет смысл, когда нужно научить модель писать в определённом формате, а не знать факты.

Где RAG ошибается

Поиск нашёл не тот фрагмент, и модель уверенно ответила по нему. В документах противоречие: старая и новая версия регламента лежат рядом. Ответ разбросан по пяти документам, и поиск нашёл только два. Таблицы и сканы плохого качества разобрались с ошибками. Каждую из этих проблем решают отдельно: убирают устаревшие документы, настраивают нарезку, добавляют фильтры по разделам и правам.

Как проверить качество

На пилоте собираем 50–100 реальных вопросов сотрудников с правильными ответами и прогоняем через систему. Меряем три вещи: доля верных ответов, доля ответов со ссылкой на правильный документ и доля честных отказов там, где ответа в документах нет. Последнее не менее важно: система, которая на всё отвечает уверенно, опаснее той, что иногда говорит «не знаю».

Права доступа

Бухгалтер может видеть учётную политику, менеджер по продажам нет. В RAG права нужно переносить в индекс, иначе ИИ перескажет зарплатную ведомость не тому человеку. Это одна из причин, по которым базу знаний для чувствительных документов ставят на локальную модель.

Как мы делаем базы знаний, описано на странице базы знаний с ИИ. Другие термины объяснены в словаре ИИ для руководителя.

Сколько документов можно подключить?

Тысячи. Ограничивает не объём, а порядок: устаревшие и противоречивые документы надо убрать.

Понимает ли RAG сканы?

Да, после распознавания текста. Плохие сканы и рукописные пометки распознаются хуже.

Можно ли сделать RAG без облака?

Да, поиск и модель можно поставить на ваш сервер.

  1. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401) ·
  • RAG
  • база знаний
  • документы

Все статьи блога