ИИ-инструменты для кода

Сравните рабочие процессы редакторов, сохраняя границы модельных бенчмарков.

Сравнения инструментов

Бенчмарки

BigCode project

BigCodeBench

BigCode project · Генерация кода на уровне функций. Что измеряется: Доля решённых задач программирования. Complete и Instruct используют разные запросы; Full и Hard — разные наборы задач. Сопоставляйте одинаковые варианты.

Область оценки
Генерация кода на уровне функций
Что измеряется
Доля решённых задач программирования

Datacurve

DeepSWE

Datacurve · Модели кода в агенте оценщика. Что измеряется: Выполнение задач в репозитории. Версия 1.1 оценивает закоммиченные изменения в отдельной среде. Результат зависит от агента и настроек рассуждения.

Область оценки
Модели кода в агенте оценщика
Что измеряется
Выполнение задач в репозитории