EN
← На главную
Бенчмарк

Какие нейросети справляются с моими задачами

Публичные рейтинги нейросетей проверяют чужие задачи. Здесь — мои: найти и разобрать информацию, написать код, прочитать документ или скан, выбрать нужный скилл, сделать работу агентства. Задания я не публикую, результаты — открыто. У каждого прогона есть дата, поэтому видно, как модели меняются.

Как проверяю

Проект заморожен

26.09.2026 я поставил бенчмарк на паузу. На простых заданиях сильные модели решают почти всё, а честный бенч на задачах из моей реальной работы — отдельный большой проект. Может, вернусь к нему позже. Ниже — то, что успел измерить.

Планы и код на GitHub →

26.09.2026 — три прогона на 29 простых заданиях: основные модели каждой компании; те же модели на всех уровнях усилия; остальные, включая самые сильные (Fable, Astra) и бесплатные. Сильные модели решают почти всё, отстают только маленькие. Gemini иногда тянется к терминалу, его программа это запрещает, и ответа нет — такие задания не засчитаны, их число указано под моделью.

01/Последний прогон

Рейтинг

Сколько заданий решила каждая модель из тех, что ей достались. Заданий пока 29 — разница в одно-два задания между моделями ещё может быть случайной.

  • Anthropic
  • OpenAI
  • Google
  • OpenCode free
  1. Claude Opus 5.5
    Anthropic · усилие: среднее · изоляция: строгая · 26.09.2026
    29 из 29100%
    Токены: прочитала / написала5 482 / 127
    Время на задание5 с
    Стоило бы по API$0.5525
  2. Claude Sonnet 5
    Anthropic · усилие: низкое · изоляция: строгая · 26.09.2026
    29 из 29100%
    Токены: прочитала / написала5 549 / 147
    Время на задание5 с
    Стоило бы по API$0.2891
  3. Claude Sonnet 5
    Anthropic · усилие: максимальное · изоляция: строгая · 26.09.2026
    29 из 29100%
    Токены: прочитала / написала5 549 / 912
    Время на задание11 с
    Стоило бы по API$0.5109
  4. Claude Sonnet 5
    Anthropic · усилие: очень высокое · изоляция: строгая · 26.09.2026
    29 из 29100%
    Токены: прочитала / написала5 549 / 304
    Время на задание5 с
    Стоило бы по API$0.3344
  5. GPT-6 Sol
    OpenAI · усилие: максимальное · изоляция: песочница · 26.09.2026
    29 из 29100%
    Токены: прочитала / написала16 435 / 143
    Время на задание9 с
    Стоило бы по API$0.3801
  6. Gemini 3.1 Pro
    Google · усилие: высокое · изоляция: частичная · 26.09.2026
    без ответа — заблокировала своя программа: 11 · программа не поддерживает: 1
    17 из 17100%
    Токены: прочитала / написала7 264 / 1 167
    Время на задание15 с
    Стоило бы по API$0.5205
  7. Gemini 3.8 Flash
    Google · усилие: высокое · изоляция: частичная · 26.09.2026
    без ответа — заблокировала своя программа: 11 · программа не поддерживает: 1
    17 из 17100%
    Токены: прочитала / написала17 707 / 1 417
    Время на задание11 с
    Стоило бы по API$0.5096
  8. Claude Sonnet 5
    Anthropic · усилие: среднее · изоляция: строгая · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала5 549 / 145
    Время на задание4 с
    Стоило бы по API$0.2883
  9. Claude Sonnet 5
    Anthropic · усилие: высокое · изоляция: строгая · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала5 549 / 209
    Время на задание6 с
    Стоило бы по API$0.3071
  10. GPT-5.6 Sol
    OpenAI · усилие: среднее · изоляция: песочница · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала15 858 / 60
    Время на задание9 с
    Стоило бы по APIнет данных
  11. GPT-6 Astra
    OpenAI · усилие: среднее · изоляция: песочница · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала16 884 / 48
    Время на задание9 с
    Стоило бы по API$1.7915
  12. GPT-6 Sol
    OpenAI · усилие: среднее · изоляция: песочница · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала17 062 / 116
    Время на задание9 с
    Стоило бы по API$0.3800
  13. GPT-6 Sol
    OpenAI · усилие: высокое · изоляция: песочница · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала16 439 / 112
    Время на задание10 с
    Стоило бы по API$0.3712
  14. GPT-6 Sol
    OpenAI · усилие: низкое · изоляция: песочница · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала16 920 / 59
    Время на задание8 с
    Стоило бы по API$0.3592
  15. GPT-6 Sol
    OpenAI · усилие: ультра · изоляция: песочница · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала16 481 / 149
    Время на задание10 с
    Стоило бы по API$0.3845
  16. GPT-6 Sol
    OpenAI · усилие: очень высокое · изоляция: песочница · 26.09.2026
    28 из 2997%
    Токены: прочитала / написала16 434 / 126
    Время на задание9 с
    Стоило бы по API$0.3749
  17. MiMo v2.6 Flash
    OpenCode free · изоляция: песочница · 26.09.2026
    программа не поддерживает: 1
    27 из 2896%
    Токены: прочитала / написала9 474 / 72
    Время на задание14 с
    Стоило бы по APIбесплатно
  18. Gemini 3.8 Flash
    Google · усилие: низкое · изоляция: частичная · 26.09.2026
    без ответа — заблокировала своя программа: 8 · программа не поддерживает: 1
    19 из 2095%
    Токены: прочитала / написала17 853 / 217
    Время на задание8 с
    Стоило бы по API$0.3977
  19. Gemini 3.8 Flash
    Google · усилие: среднее · изоляция: частичная · 26.09.2026
    без ответа — заблокировала своя программа: 10 · программа не поддерживает: 1
    17 из 1894%
    Токены: прочитала / написала16 806 / 731
    Время на задание9 с
    Стоило бы по API$0.4297
  20. Claude Fable 5.1
    Anthropic · усилие: среднее · изоляция: строгая · 26.09.2026
    27 из 2993%
    Токены: прочитала / написала7 341 / 122
    Время на задание5 с
    Стоило бы по API$1.3949
  21. GPT-6 Luna
    OpenAI · усилие: среднее · изоляция: песочница · 26.09.2026
    26 из 2990%
    Токены: прочитала / написала16 256 / 49
    Время на задание9 с
    Стоило бы по API$0.0191
  22. Muse Spark 1.3
    OpenCode free · изоляция: песочница · 26.09.2026
    программа не поддерживает: 1
    24 из 2886%
    Токены: прочитала / написала11 306 / 83
    Время на задание11 с
    Стоило бы по APIбесплатно
  23. Claude Haiku 4.5
    Anthropic · изоляция: строгая · 26.09.2026
    22 из 2976%
    Токены: прочитала / написала7 005 / 1 009
    Время на задание11 с
    Стоило бы по API$0.3494
  24. Big Pickle
    OpenCode free · изоляция: песочница · 26.09.2026
    программа не поддерживает: 1
    13 из 2846%
    Токены: прочитала / написала10 900 / 107
    Время на задание7 с
    Стоило бы по APIбесплатно
  25. Nemotron 3 Ultra
    OpenCode free · изоляция: песочница · 26.09.2026
    программа не поддерживает: 1
    13 из 2846%
    Токены: прочитала / написала10 591 / 96
    Время на задание10 с
    Стоило бы по APIбесплатно

Задания у всех моделей одинаковые, в каждом несколько сотен токенов. Разница в колонке «прочитала» — это инструкции, которые программа добавляет к заданию от себя: Claude в строгом режиме — около 2 тыс. токенов, OpenCode — около 8 тыс., Codex и Antigravity — около 14 тыс. Время и токены — в среднем на одно задание. Цена — по тарифам API на дату прогона; по подписке эти деньги не списываются.

02/По заданиям

Кто что решил

Каждая модель по каждому заданию в последнем прогоне. ✓ — решила, ✗ — нет, пусто — задание ей не давали.

 ask-01ask-02calc-01calc-02cli-flags-01code-review-01contract-defects-01longctx-32klongctx-8kreport-error-01research-notfound-01research-synth-01sandbox-hole-01scan-card-uz-latn-l1scan-invoice-en-l0scan-invoice-en-l2scan-invoice-en-l3scan-invoice-ru-l0scan-invoice-ru-l2scan-invoice-ru-l3scan-invoice-uz-cyrl-l0scan-invoice-uz-cyrl-l2scan-invoice-uz-cyrl-l3scan-invoice-uz-latn-l0scan-invoice-uz-latn-l2scan-invoice-uz-latn-l3scan-payment-ru-stampskill-route-01skill-route-20
Claude Opus 5.5решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
Claude Sonnet 5решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
Claude Sonnet 5решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
Claude Sonnet 5решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Solрешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
Gemini 3.1 Proрешиларешиларешиларешиларешиларешиларешилане давалирешиларешиларешиларешиларешилане давалирешилане давалирешилане давалине давалине давалине давалине давалине давалине давалине давалине давалирешиларешиларешила
Gemini 3.8 Flashрешиларешиларешилане давалирешиларешилане давалине давалирешиларешиларешиларешиларешилане давалине давалирешилане давалине давалине давалине давалине давалирешиларешилане давалирешилане давалирешиларешиларешила
Claude Sonnet 5решиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
Claude Sonnet 5не решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-5.6 Solрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Astraрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Solрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Solрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Solрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Solрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Solрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
MiMo v2.6 Flashрешиларешиларешиларешиларешиларешилане решилане давалирешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
Gemini 3.8 Flashрешиларешиларешилане давалирешиларешилане решилане давалирешиларешиларешиларешиларешиларешилане давалирешилане давалине давалирешиларешилане давалирешилане давалирешилане давалине давалирешиларешиларешила
Gemini 3.8 Flashрешиларешиларешилане давалирешиларешилане решилане давалирешиларешиларешиларешиларешиларешиларешилане давалине давалирешилане давалирешилане давалине давалине давалирешилане давалине давалине давалирешиларешила
Claude Fable 5.1решиларешиларешилане решиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешила
GPT-6 Lunaрешиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешилане решиларешиларешилане решиларешиларешиларешила
Muse Spark 1.3решиларешиларешиларешиларешиларешилане решилане давалирешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешиларешилане решилане решиларешиларешилане решиларешиларешиларешила
Claude Haiku 4.5не решиларешиларешилане решиларешиларешилане решиларешиларешиларешиларешиларешилане решиларешиларешиларешиларешиларешиларешилане решилане решилане решиларешиларешиларешиларешиларешиларешиларешила
Big Pickleрешиларешиларешиларешиларешиларешилане решилане давалирешиларешиларешилане решиларешилане решилане решилане решилане решилане решилане решилане решилане решилане решилане решиларешилане решилане решилане решиларешиларешила
Nemotron 3 Ultraне решиларешиларешиларешиларешиларешиларешилане давалирешиларешиларешиларешиларешилане решилане решилане решилане решилане решилане решилане решилане решилане решилане решилане решилане решилане решилане решиларешиларешила
03/История

Тупеют ли модели

Раз в неделю и после крупных обновлений я даю моделям те же задания заново. Один плохой день — случайность. Если модель проваливается несколько прогонов подряд, значит, она правда стала хуже.

График появится после второго прогона: пока все замеры сделаны в один день.

04/Методика

Как проверяю

Свои задания, закрытые

Задания и правильные ответы не публикую. Иначе они попадут в обучение моделей, и тест перестанет что-то проверять.

Проверяет программа

Числа, поля и файлы сверяются с правильным ответом автоматически. Слова модели «готово» не считаются.

Иногда правильно — не делать

В части заданий не хватает данных. Верный ответ там — переспросить, а не угадать.

Только измеренное

Показываю, сколько заданий решено, сколько токенов и времени ушло. Без прогнозов и расчётных оценок: заданий пока мало, выводы — осторожно.

Каждое задание с чистого листа

Новая сессия без памяти и моих настроек. Насколько строго модель отгорожена от остального компьютера, указано рядом с результатом.

Токены, время, цена

Сколько текста модель прочитала и написала, сколько времени ушло и сколько это стоило бы по тарифам API на дату прогона.