Обсудить проект

Как мы выбираем ИИ-модель для ассистента — замер на 35 сложных ситуациях

Опубликовано Обновлено

Мы сравнили ведущие модели рынка: OpenAI (ChatGPT), Anthropic (Claude), Google (Gemini) и DeepSeek. Проверяем не какая модель умнее, а какая точнее держит правила ассистента: факты только из базы, 2–4 предложения, один вопрос за раз.

Что мы выбрали

По умолчанию мы ставим ассистентам модели GPT от OpenAI: они прошли больше всех ситуаций.

  • Для бота Авито — GPT-6.1 Sol: 34 из 35 сложных ситуаций, ответ обычно за 2,4 секунды.
  • Для консультанта на сайте — GPT-6 Luna: тоже 34 из 35, около 23 ₽ за тысячу ответов.

Почему в чатах Авито не Luna? Засчитанных ответов у них поровну, но средняя оценка качества у Sol выше — 8,9 против 8,5 из 10, — и отвечает он быстрее. Разница в деньгах при сотнях чатов в месяц — порядка сотни рублей.

Как мы проверяли

1 ноября 2026 года мы дали моделям 35 сложных ситуаций из тестов нашего ассистента на сайте: возражения вроде «на Kwork сделают за 3 000, зачем вам платить», длинные диалоги, вопросы не по теме — перепрошить роутеры, настроить контроллер. Инструкции для ИИ и база фактов о студии у всех одинаковые.

Каждый ответ проверили вслепую трижды, по одним правилам для всех; засчитан, если прошёл хотя бы две проверки из трёх. Проверку ответ проходил только при соблюдении всех требований — к фактам, длине и числу вопросов: лишний вопрос тоже считался ошибкой.

Что получилось

Sol проверили дважды: в обычном режиме и в усиленном, когда модель дольше думает.

Модель Из 35 Ответ за 1 000 ответов
GPT-6.1 Sol, усиленный режим 35 6,2 с ≈ 420 ₽
GPT-6.1 Sol 34 2,4 с ≈ 190 ₽
GPT-6 Luna 34 3,8 с ≈ 23 ₽
Gemini 3.8 Flash 30 6,4 с ≈ 660 ₽
DeepSeek V4.1 Flash 29 2,0 с ≈ 40 ₽
DeepSeek V4 Pro 22 5,0 с ≈ 360 ₽
Claude Haiku 5.5 20 5,9 с ≈ 110 ₽
Claude Sonnet 5.5 19 4,5 с ≈ 1 860 ₽

Время — за сколько модель готовит ответ; цена — доллар по 85 ₽. Расход в месяц целиком — в статье о расходах.

Усиленный Sol прошёл все 35, но отвечал в 2,6 раза медленнее и стоил в 2,2 раза дороже. В обычном режиме его единственной ошибкой были два вопроса вместо одного.

Почему модели не проходили

  • Claude Sonnet 5.5 и Claude Haiku 5.5 — длинные ответы и по два вопроса за раз.
  • DeepSeek V4 Pro — ошибки в словах и обещания того, чего нет в базе, в том числе неверный срок запуска.
  • Gemini 3.8 Flash — по два вопроса за раз, и он самый медленный.
  • DeepSeek V4.1 Flash — самый быстрый, но прошёл 29 из 35.

Что спросить у подрядчика

  • На каких ситуациях проверяли модель и сколько их было?
  • Что считали правильным ответом?
  • Сколько стоит тысяча ответов с базой фактов вашего размера?
  • Что ассистент ответит, если нужного факта нет в базе?

Наш ответ на последний вопрос — передаст человеку, а не придумает.

Когда дело не в модели

На вопрос «а кто несёт ответственность, если он накосячит?» в октябрьском сравнении все три модели додумали «ответственность прописана в договоре» — такого факта в базе не было. Мы дописали в базу условия ответственности, и 1 ноября все восемь вариантов ответили по ней.

Поэтому запуск у нас начинается не с выбора модели, а с базы фактов: прайс, условия, частые вопросы. Если документов нет, соберём их вместе на аудите. Обсудить запуск — на странице ИИ-ассистента.

Вопросы и ответы

Обсудить проект

Шаг 1 из 2 · Два коротких шага. Ответим в тот же рабочий день.

Что нужно?
Удобнее самим?info@mindassist.ru