Как мы выбираем ИИ-модель для ассистента — замер на 35 сложных ситуациях
Мы сравнили ведущие модели рынка: OpenAI (ChatGPT), Anthropic (Claude), Google (Gemini) и DeepSeek. Проверяем не какая модель умнее, а какая точнее держит правила ассистента: факты только из базы, 2–4 предложения, один вопрос за раз.
Что мы выбрали
По умолчанию мы ставим ассистентам модели GPT от OpenAI: они прошли больше всех ситуаций.
- Для бота Авито — GPT-6.1 Sol: 34 из 35 сложных ситуаций, ответ обычно за 2,4 секунды.
- Для консультанта на сайте — GPT-6 Luna: тоже 34 из 35, около 23 ₽ за тысячу ответов.
Почему в чатах Авито не Luna? Засчитанных ответов у них поровну, но средняя оценка качества у Sol выше — 8,9 против 8,5 из 10, — и отвечает он быстрее. Разница в деньгах при сотнях чатов в месяц — порядка сотни рублей.
Как мы проверяли
1 ноября 2026 года мы дали моделям 35 сложных ситуаций из тестов нашего ассистента на сайте: возражения вроде «на Kwork сделают за 3 000, зачем вам платить», длинные диалоги, вопросы не по теме — перепрошить роутеры, настроить контроллер. Инструкции для ИИ и база фактов о студии у всех одинаковые.
Каждый ответ проверили вслепую трижды, по одним правилам для всех; засчитан, если прошёл хотя бы две проверки из трёх. Проверку ответ проходил только при соблюдении всех требований — к фактам, длине и числу вопросов: лишний вопрос тоже считался ошибкой.
Что получилось
Sol проверили дважды: в обычном режиме и в усиленном, когда модель дольше думает.
| Модель | Из 35 | Ответ за | 1 000 ответов |
|---|---|---|---|
| GPT-6.1 Sol, усиленный режим | 35 | 6,2 с | ≈ 420 ₽ |
| GPT-6.1 Sol | 34 | 2,4 с | ≈ 190 ₽ |
| GPT-6 Luna | 34 | 3,8 с | ≈ 23 ₽ |
| Gemini 3.8 Flash | 30 | 6,4 с | ≈ 660 ₽ |
| DeepSeek V4.1 Flash | 29 | 2,0 с | ≈ 40 ₽ |
| DeepSeek V4 Pro | 22 | 5,0 с | ≈ 360 ₽ |
| Claude Haiku 5.5 | 20 | 5,9 с | ≈ 110 ₽ |
| Claude Sonnet 5.5 | 19 | 4,5 с | ≈ 1 860 ₽ |
Время — за сколько модель готовит ответ; цена — доллар по 85 ₽. Расход в месяц целиком — в статье о расходах.
Усиленный Sol прошёл все 35, но отвечал в 2,6 раза медленнее и стоил в 2,2 раза дороже. В обычном режиме его единственной ошибкой были два вопроса вместо одного.
Почему модели не проходили
- Claude Sonnet 5.5 и Claude Haiku 5.5 — длинные ответы и по два вопроса за раз.
- DeepSeek V4 Pro — ошибки в словах и обещания того, чего нет в базе, в том числе неверный срок запуска.
- Gemini 3.8 Flash — по два вопроса за раз, и он самый медленный.
- DeepSeek V4.1 Flash — самый быстрый, но прошёл 29 из 35.
Что спросить у подрядчика
- На каких ситуациях проверяли модель и сколько их было?
- Что считали правильным ответом?
- Сколько стоит тысяча ответов с базой фактов вашего размера?
- Что ассистент ответит, если нужного факта нет в базе?
Наш ответ на последний вопрос — передаст человеку, а не придумает.
Когда дело не в модели
На вопрос «а кто несёт ответственность, если он накосячит?» в октябрьском сравнении все три модели додумали «ответственность прописана в договоре» — такого факта в базе не было. Мы дописали в базу условия ответственности, и 1 ноября все восемь вариантов ответили по ней.
Поэтому запуск у нас начинается не с выбора модели, а с базы фактов: прайс, условия, частые вопросы. Если документов нет, соберём их вместе на аудите. Обсудить запуск — на странице ИИ-ассистента.
Вопросы и ответы
GPT-6.1 Sol от OpenAI в обычном режиме. В нашем замере она прошла 34 из 35 сложных ситуаций и обычно отвечала за 2,4 секунды.
Консультанту на сайте мы поставили GPT-6 Luna: тоже 34 из 35, а тысяча ответов стоит около 23 ₽.
Не всегда. Три модели одинаково додумали ответ про ответственность, потому что нужного факта не было в базе. Когда мы его дописали, на этот вопрос все восемь вариантов ответили по базе.