AiBench

По результатам на 6 ноября 2026: 2 задачи, 34 прогона, уровни low…xhigh.

Коротко

Обе задачи все четыре модели решают правильно почти на любом уровне. 31 из 32 ячеек прошли все скрытые тесты. Даже в «полиноме» с численной ловушкой (плохо обусловленная система при x ≈ 1000 и степени 8) каждая модель сама пришла к тому же решению, что и эталон: сдвиг x, базис Чебышёва, QR.
Разница в Итоге (87–95) — шум судьи, а не разница моделей. При повторной оценке того же кода Итог сдвигается на 1–2 пункта.
Выбор определяют скорость и цена, и картина одинакова на обеих задачах. Решение, проходящее те же тесты, стоит от $0.005 (Haiku low) до $2.1 (Fable xhigh) и занимает от 23 секунд (Sonnet low) до 13 минут (Opus xhigh).
Высокий уровень рассуждения на понятной задаче не окупается. xhigh дольше и дороже low: у Haiku в 3.5–5 раз, у Sonnet в 6–8, у Fable в 7–11, у Opus в 15–28. Тесты те же, а код у каждой модели на обеих задачах становится длиннее.

Какую модель где использовать

Сценарий	Что брать	Почему
Повседневный код в диалоге: функции, правки, скрипты по понятному описанию	Sonnet · low или medium	Самый быстрый на обеих задачах (23–32 с) при цене $0.03–0.04, все тесты пройдены. Пишет компактнее остальных.
Массовые и фоновые задачи, где важна цена, а не скорость ответа: пакетная генерация, CI, ночные прогоны	Haiku · low или medium	$0.005–0.014 за решение: в 2.5–7 раз дешевле Sonnet и в 14–38 раз дешевле Fable. Все тесты на обеих задачах, качество не хуже остальных. Но отвечает от 48 секунд до 2 минут, поэтому для диалога не лучший выбор.
Нужна сильная модель на обычной задаче	Opus · low	26–29 с и $0.06, все тесты. Выше medium сильнее всех переусложняет: на xhigh код вырастает со 105 до 191 строки и со 135 до 221, а время — до 7–13 минут.
Самые трудные задачи	Fable · medium (предварительно)	На двух задачах Fable не показала преимущества, которое оправдало бы цену: в 1.6–3 раза дороже Opus, в 5–7.5 раз дороже Sonnet и в 14–38 раз дороже Haiku. Данных по по-настоящему трудным задачам пока нет.
xhigh и max	Только для трудных задач	На обеих задачах они ничего не добавили, кроме времени, токенов и строк кода.

Наблюдения по моделям

Sonnet 5.5 — лучший выбор по умолчанию: самый быстрый и компактный, при этом дешёвый. С ростом усилия код растёт без пользы для тестов: с 70 до 124 строк и со 123 до 179.
Haiku 5.5 — главный сюрприз: все тесты на всех уровнях обеих задач, включая 3 из 3 повторов на xhigh. Самая дешёвая, но рассуждает дольше всех: от 10 до 77 тыс. токенов на решение. Дороже $0.04 не выходит ни на одном уровне.
Opus 5.5 — надёжна, но сильнее всех раздувается с ростом усилия. На первой задаче xhigh в 28 раз дольше low, оценка за простоту падает с 6 до 4.
Fable 5.1 — самая дорогая. Единственный провал скрытого теста за все прогоны — её: на первой задаче (high) она посчитала сумму через math.fsum, а он бросает OverflowError при огромном шаге обучения. На полиноме ошибок не было, а на xhigh судья поставил ей лучшую оценку, 95, но ценой $1.41 за решение.

Насколько этому верить

Обе задачи оказались по силам всем моделям, поэтому правильность их пока не разделяет. Твёрдо видны только время, токены и цена — они различаются в разы и одинаково на обеих задачах.
По одному прогону на ячейку, кроме Haiku xhigh на первой задаче (там три).
Уровень max в текущих условиях не запускался.
Чтобы модели разошлись по качеству, нужны задачи другого рода: поиск тонких багов в чужом коде, программы побольше и требования, где ловушка не подсказана текстом спеки.

Лучший уровень для каждой модели

Считается автоматически по текущим данным всех задач.

Рейтинг

Итог = % скрытых тестов + % оценки судьи (качество кода).

Модель × усилие: итоговый балл

Чем темнее ячейка, тем выше Итог. «—» — этот уровень не запускали.

Задача × модель

Средний Итог модели по всем запущенным уровням рассуждения. Нажмите на задачу, чтобы открыть её.

Как уровень рассуждения влияет на результат

Ось X — уровень усилия, каждая линия — модель. Наведите курсор, чтобы увидеть значения.

Цена против результата

Отдельная панель на модель, оси общие. По X — стоимость (лог-шкала), по Y — Итог; точки соединены по росту усилия. Лучшее — левый верхний угол.

Какие тесты проходят

✓ пройден · ✗ провален (причина во всплывающей подсказке).

Оценки судьи и детали прогонов

Судья: Opus 5.5 (high), не знает, чей код. Критерии по 0–10: соответствие спецификации, надёжность, читаемость, простота.

Тесты и комментарии судьи — во вкладке конкретной задачи.

Как устроен тест

Каждая модель получает только текст задачи под нейтральным системным промптом («инструментов нет, отвечай текстом») и отвечает одним блоком кода. Запуск идёт в пустой временной папке вне проекта, с --safe-mode (без CLAUDE.md, хуков, плагинов и памяти) и --tools "": модель не может прочитать ни одного файла, поэтому эталон и скрытые тесты ей недоступны. Код проверяется скрытыми тестами, каждый в отдельном процессе с таймаутом. Затем судья, не зная имени модели, оценивает код по четырём критериям, сверяясь с эталоном. В эталон вшита метка-канарейка: если она появится в ответе, прогон помечается как утечка. Время — полное время ответа; токены вывода включают рассуждения; стоимость — по ценам API. Для каждой задачи эталон выводится из нескольких независимых решений и проверяется мутантами — заведомо сломанными версиями, которые тесты обязаны поймать.