Главное про AI - Вадим Жартун Страница 8

RAG (поиск с подсказкой). Вы оставляете модель общую, но подключаете к ней свою базу знаний. При каждом запросе модель сначала находит в базе релевантные фрагменты, а уже потом отвечает с опорой на них. Стоимость — от единиц тысяч долларов на старте (векторная база, индексация, интеграция) до десятков тысяч на зрелом проекте. Подходит, когда у вас есть много собственных документов, на которые модель должна опираться, и эти документы регулярно обновляются. Преимущество RAG перед дообучением — свежесть: данные можно обновить за часы (переиндексировал базу), а не за недели (новый цикл обучения). Преимущество RAG перед промптом — цитируемость: сотрудник или клиент может ткнуть пальцем в конкретный пункт регламента, на который модель сослалась. В задачах с регуляторной ответственностью (комплаенс, медицина, финансы) RAG даёт прослеживаемость источника, и в ЕС по AI Act это юридически значимое преимущество, а дообученная модель — чёрный ящик, и доказать, на каком основании она выдала ответ, потом будет нечем.

Дообучение (fine-tuning). Вы берёте готовую модель и прогоняете её через дополнительное обучение на своих парах «вопрос-ответ», подкручивая её внутренние веса. Это самая дорогая операция. Полное дообучение модели 7B требует 100–120 ГБ видеопамяти — это аренда нескольких серверных NVIDIA H100 примерно за 50 000 долларов за цикл.

Стоимость дообучения GPT-4o у OpenAI в августе 2024 — 25 долларов за 1 миллион токенов тренировки плюс 3,75 за миллион токенов инференса дообученной модели (тарифы OpenAI на 2024 год, в 2026 могли измениться). По оценке Open Source Data Summit 2025, дообучение обходится в 10–50 тысяч долларов за итерацию и требует месяцев на подготовку данных, тогда как RAG-система разворачивается за недели при 10% от этой стоимости.

Подходит, когда у задачи специфический стиль или формат ответа, который не вытягивается через примеры в промпте: юридические заключения в формате конкретного арбитражного суда, медицинские протоколы в формате конкретной клиники, финансовая отчётность в формате конкретного банка, или стабильный классификатор на 12 типов риска, обученный на 5 000 размеченных договоров.

Промежуточный вариант — QLoRA. Это метод на основе LoRA (Low-Rank Adaptation), где к стандартному дообучению добавляется 4-битное квантование весов: веса модели хранятся не в полной точности, а в упрощённой, что и даёт экономию памяти. Для модели 8B требования к VRAM сокращаются с 69 ГБ до 16 ГБ, и дообучение укладывается в одну потребительскую видеокарту NVIDIA RTX 4090 за полторы тысячи долларов вместо пятидесяти. Но даже QLoRA остаётся дообучением со всеми его ограничениями: модель застывает на момент обучения, и при обновлении данных придётся запускать новый цикл.

Какой инструмент выбирать в какой ситуации. Промпт — для тона, формата и типовых шаблонов, где не нужны ваши документы. RAG — для всего, где есть собственная база знаний, которую нужно уважать (регламенты, договоры, политика). Дообучение — для устойчивого специфического стиля или классификатора, который не вытягивается через примеры. В большинстве офисных задач достаточно RAG с хорошей базой и грамотного промпта.

РАСПОЗНАТЬ ГАЛЛЮЦИНАЦИЮ: ГРАНИЦА ДОВЕРИЯ К ОТВЕТУ МОДЕЛИ

Способа, который даёт стопроцентную гарантию, нет, но есть пять маркеров, по которым выдумку ловит даже непрофессионал. Они не дают абсолютной уверенности, но сдвигают вероятность в вашу сторону.

1: Подозрительная точность конкретных цифр. Когда модель выдаёт «исследование Университета X от 2019 года показало, что 73,4% респондентов…», цифры выглядят слишком «гладкими» для реального исследования — повод проверить. Реальная социология даёт неровные числа вроде «71,3% опрошенных из выборки 1247 человек», потому что работает с погрешностями и доверительными интервалами.

2: Неназванный источник. «Установлено, что…», «По мнению экспертов…», «Как известно…» — типичные обёртки для выдумки. Нет конкретной ссылки на автора, работу или базу данных — факт вызывает сомнение по умолчанию.

3: Длинный ответ с потерянной серединой. Модель хорошо помнит начало и конец своего ответа и хуже — середину (потерянная середина, о которой мы говорили в главе 1). Если первые два абзаца и последний связаны по смыслу, а середина «плывёт» — там может быть выдумка.

4: Внутренние противоречия при перефразировании. Попросите модель «расскажи то же самое другими словами». Если при пересказе появились новые факты, которых не было в первой версии, первая версия была частично выдумкой, и пересказ её «достроил».

5: Отсутствие оговорки про устаревание. Модель уверенно пишет про события вчерашнего дня без оговорки «на момент последнего обновления моих данных» — это техническая выдумка: у модели нет данных «вчерашнего дня», и она не предупредила об этом.

Эти пять маркеров не равны «доказано, что модель врёт», но задают простую рабочую норму: если хотя бы один из пяти сработал — перепроверьте по первоисточнику, прежде чем использовать ответ в работе. Что делать, когда выдумка уже прошла и попала к клиенту, — следующий раздел.

AI ЛЖЁТ КЛИЕНТУ: МАСШТАБ УЩЕРБА И ЦЕНА ОШИБКИ

Пять маркеров из предыдущего раздела помогают ловить выдумку. Но что делать, когда выдумка уже прошла и попала к клиенту — в договор, претензию, иск? Mata v. Avianca, флоридские кейсы и Air Canada — это три примера того, как AI-враньё попало в клиентские документы. Здесь нужен следующий уровень защиты: разделение ролей и процесс контроля.

Юридический риск несёт компания, а не модель. Что делать на практике, чтобы AI-враньё клиенту не превратилось в ваш инцидент?

Во-первых, разделить «кто пишет» и «кто проверяет факты». Автор черновика — AI, проверяющий факты — человек с компетенцией. Это два разных сотрудника и два разных этапа работы. В Mata v. Avianca юрист Шварц делал и то, и другое сам — и не справился. Один человек на обоих этапах не замечает собственных ошибок.

Во-вторых, запретить слепое копирование AI-текста в клиентский документ. Это касается договоров, претензий, исков и любых документов, которые уходят к контрагенту или в суд. Любой текст, сгенерированный AI в этих категориях, должен пройти через человека, который знает, как выглядит настоящая судебная практика, и может отличить её от правдоподобной выдумки.

В-третьих, обязательный RAG с цитированием в задачах, где есть собственная нормативная база. В главе 1 и ранее в этой главе мы видели, что даже юридические коммерческие инструменты галлюцинируют в 17–33% ответов. Цитирование в ответе модели — единственный способ для проверяющего быстро найти источник и сверить с тем, что модель написала.

В-четвёртых, вести журнал AI-использования — какие документы готовились с AI, кто проверял, какие правки вносил,