BigCode project

BigCodeBench

BigCode project · Генерация кода на уровне функций. Что измеряется: Доля решённых задач программирования. Complete и Instruct используют разные запросы; Full и Hard — разные наборы задач. Сопоставляйте одинаковые варианты.

Издатель
BigCode project
Область оценки
Генерация кода на уровне функций
Что измеряется
Доля решённых задач программирования
Источник проверен
3 окт. 2026 г.

Область оценки

Бенчмарк оценивает модель и задачу, а не весь инструмент, интерфейс или каждый тариф.

  • Исходный репозиторий архивирован 20 июля 2026 года.

Инструменты этой категории

Бенчмарк оценивает модель и задачу, а не весь инструмент, интерфейс или каждый тариф.