NotTrack AI
Войти Открыть чат

Что измеряет и что не измеряет оценка

1 мин чтения

Что измеряет и что не измеряет оценка

Бенчмарки измеряют фиксированный набор задач с фиксированным промптом, оцениваются автоматически. Ваша работа — другая задача с вашей формулировкой, которую оцениваете вы. Четыре конкретных разделения отделяют эти две реальности, и ни один из них не исчезает с ростом оценок.

Баллы — самая цитируемая величина в категории и наименее предсказуемая. Это не обвинение в нечестности; это следует из того, чем должен быть бенчмарк, чтобы им быть.

На этой странице
  1. Задачи бенчмарков — не ваши задачи
  2. Промпт бенчмарка — не ваш промпт
  3. Обертка не измеряется
  4. Контаминация — реальная и тихая проблема
  5. Что спрашивают перед переходом

Задачи бенчмарков — не ваши задачи

Бенчмарки отдают предпочтение задачам с проверяемыми ответами: экзамены, головоломки, код, который запускается. Большинство реальной работы оценивается, а не проверяется, и ни один бенчмарк не может автоматически оценить суждение. Измеряемое подмножество не является выборкой вашего дня.

Промпт бенчмарка — не ваш промпт

Баллы получают с помощью тщательно написанных промптов, часто настроенных для теста. Вы напишете свой вопрос в одну строку, думая о другом. Разрыв между оптимизированным промптом и реальным вопросом больше, чем разрыв между двумя ведущими моделями.

Обертка не измеряется

Бенчмарки оценивают модель, а вы используете продукт: инструкции, фильтр, интерфейс, ограничения. Высокооцененная модель внутри осторожного продукта создает худший опыт, чем модель с более низкой оценкой внутри хорошо построенного продукта.

Контаминация — реальная и тихая проблема

Популярные тестовые наборы попадают в обучающие данные, что повышает оценки без повышения способности. Это трудно обнаружить извне, и это влияет на самые цитируемые бенчмарки больше всего, потому что популярность — это то, что это вызывает.

Что спрашивают перед переходом

Значит ли это, что бенчмарки бесполезны?

Они полезны для отслеживания отрасли в течение лет и для выявления больших разрывов. Они плохо подходят для ранжирования близких конкурентов, что именно и делают люди.

А как насчет слепых тестов человеческого предпочтения?

Ближе к полезным, и они измеряют среднее предпочтение на средних вопросах. Ваши вопросы не средние, и только ваше предпочтение имеет значение для вас.

Следует ли мне полностью игнорировать оценки?

Используйте их для составления короткого списка и никогда не выбирайте из него. Двадцать минут с вашими собственными вопросами решают лучше, чем любая таблица.

Пропустите таблицу и запустите свои 3 вопроса здесь.

Открыть чат

Выбор между ИИ-чатами