Четыре теста, которые стоят 20 минут
Задайте вопрос, ответ на который вам уже известен, что-то действительно сложное из вашей работы, вопрос на грани чувствительности и ведите один диалог на 15 сообщений. Эти 4 теста проверяют точность, возможности, фильтры и память — всё, что влияет на ваш опыт.
Случайное использование показывает, как продукт ощущается, но скрывает, как он ошибается. Ошибки решают, будете ли вы продолжать его использовать, поэтому их стоит провоцировать намеренно и рано.
Известный ответ
Вопрос из вашей области, где можно точно оценить ответ. Это единственный тест, измеряющий точность, а не беглость речи, и его пропускают, потому что сам ответ не приносит пользы. Дело не в ответе, а в калибровке того, насколько можно доверять остальным результатам.
Действительно сложный вопрос
Что-то, с чем вы действительно столкнулись. Простые вопросы хорошо решаются везде, поэтому они ничего не дифференцируют. Сложность отделяет продукты друг от друга, и только ваша собственная работа обеспечивает нужную степень сложности.
Граничный случай
Реальный пример из вашей работы, близкий к чувствительной теме. Не провокация, а законный вопрос, который может заблокировать осторожный фильтр. Это показывает, пригоден ли продукт для вашей области, что не скажет ни один обзор.
Длинный диалог
Пятнадцать сообщений на одну тему, затем ссылка на что-то из второго сообщения. Это измеряет окно памяти и дрейф контекста, и именно здесь продукты различаются больше всего, а обзоры смотрят меньше всего. Большинство разочарований от ассистента — это на самом деле разочарование после 30-го сообщения.
Что спрашивают перед переходом
Стоит ли использовать одни и те же тесты везде?
Да, и запишите их. Сопоставимость — это вся ценность, а запомнившиеся вопросы могут смещаться при сравнении разных продуктов.
Действительно ли 20 минут достаточно?
Для исключения неподходящих продуктов — легко. Для выбора между двумя хорошими продуктами неделя реальной работы решает лучше.
Что делать, если тест провален?
Это зависит от того, какого именно. Провал граничного теста исключает продукт для вашей области; провал длинного диалога раздражает, но с этим можно работать.
Запустите 4 теста здесь и сравните с тем, что вы используете сейчас.
Открыть чат