Что измеряет и что не измеряет оценка
Бенчмарки измеряют фиксированный набор задач с фиксированным промптом, оцениваются автоматически. Ваша работа — другая задача с вашим формулированием, которую оцениваете вы. Четыре конкретных разделения отделяют эти две реальности, и ни один из них не исчезает с ростом оценок.
Очки — самая цитируемая величина в категории и наименее предсказуемая. Это не обвинение в нечестности; это следует из того, чем должен быть бенчмарк, чтобы им быть.
Задачи бенчмарков — не ваши задачи
Бенчмарки отдают предпочтение задачам с проверяемыми ответами: экзамены, головоломки, код, который запускается. Большинство реальной работы оценивается, а не проверяется, и ни один бенчмарк не может автоматически оценить суждение. Измеряемое подмножество не является выборкой вашего дня.
Промпт бенчмарка — не ваш пропт
Очки получаются с помощью тщательно написанных проптов, часто настроенных для теста. Вы напишете свой вопрос в 1 строку, думая о другом. Разрыв между оптимизированным промптом и реальным вопросом больше, чем разрыв между двумя ведущими моделями.
Обертка не измеряется
Бенчмарки оценивают модель, а вы используете продукт: инструкции, фильтр, интерфейс, ограничения. Высокооцененная модель внутри осторожного продукта создает худший опыт, чем модель с более низкой оценкой внутри хорошо построенного продукта.
Контаминация — реальная и тихая проблема
Популярные тестовые наборы попадают в обучающие данные, что повышает оценки без повышения способности. Это трудно обнаружить извне, и это влияет на самые цитируемые бенчмарки больше всего, потому что популярность — это то, что это вызывает.
Что спрашивают перед переходом
Значит ли это, что бенчмарки бесполезны?
Они полезны для отслеживания отрасли в течение лет и для выявления больших разрывов. Они плохо подходят для ранжирования близких конкурентов, что именно и делают люди.
А как насчет слепых тестов человеческого предпочтения?
Ближе к полезным, и они измеряют среднее предпочтение на средних вопросах. Ваши вопросы не средние, и только ваше предпочтение имеет значение для вас.
Следует ли мне полностью игнорировать оценки?
Используйте их для составления короткого списка и никогда не выбирайте из него. Двадцать минут с вашими собственными вопросами решают лучше, чем любая таблица.
Пропустите таблицу и запустите свои 3 вопроса здесь.
Открыть чат