Как выбрать ИИ-помощника под задачу: проверка для каждой
Нет помощника, который лучше во всём, и общие рейтинги мало говорят о вашей задаче. Выбирайте под задачу: дайте каждому кандидату небольшой реальный образец такой работы, сверьте результат с тем, что можете проверить, и оцените его за 3 попытки. В тексте должен сохраниться ваш собственный голос. В коде исправление должно запускаться. В исследовании источники должны существовать.
Спрашивать, какой помощник лучше всех, — всё равно что спрашивать, какой инструмент лучше, не назвав работу. Быстрее сделать одну и ту же небольшую проверку на 2 или 3 кандидатах и самому прочитать результаты.
На этой странице
Текст: сохраняет ли он ваш голос?
Вставьте 200 слов, которые написали вы, и попросите более сжатую версию в том же тоне. Сравните её с оригиналом. Хороший результат сокращает слова, оставляя ваш смысл и стиль. Слабый результат переписывает всё одним и тем же гладким безликим голосом. Задайте одну и ту же просьбу 3 раза, потому что результаты отличаются.
Код: запускается ли исправление?
Дайте небольшую реальную ошибку вместе с сообщением о ней и попросите исправление. Запустите его. Затем попросите тест, который поймал бы эту ошибку, и запустите и его. Следите за функциями и параметрами, которых нет в вашей версии, потому что выдуманные названия — самая частая неудача.
Исследование: существуют ли источники?
Задайте вопрос из области, которую вы хорошо знаете и где можете оценить ответ. Попросите источники, затем откройте каждый. Проверьте, что источник существует, что в нём сказано то, что утверждает ответ, и что дата подходит. Отметьте, умеет ли инструмент искать актуальные страницы или работает только с текстом, на котором обучен.
Длинные документы: находит ли он то, что на странице 40?
Вставьте длинный текст и задайте 3 вопроса, ответы на которые вы знаете: 1 из начала, 1 из середины и 1 из конца. Инструменты с небольшим контекстным окном теряют середину. Спросите также, чего в тексте нет, и посмотрите, признаёт ли он пробелы.
Перевод и языки
Переведите хорошо знакомый вам абзац в обе стороны. Попросите носителя языка или прочитайте сами, оценивая тон, а не только смысл. Проверьте, что имена, числа и технические термины сохранились и что инструмент держит нужный вам стиль.
Оцените и решите
Поставьте каждой попытке оценку от 1 до 5 и усредните 3 попытки. Отметьте, что мешало: лимиты, вход в аккаунт, скорость или отказы. Выберите инструмент с лучшим средним баллом по работе, которую вы делаете чаще всего, и оставьте второй для задачи, с которой он справляется лучше.
Что спрашивают перед переходом
Сколько попыток достаточно?
Трёх попыток на задачу хватает, чтобы увидеть разброс. Одна попытка может случайно польстить инструменту или провалить его.
Стоит ли проверять на личных материалах?
Используйте образец без личных и конфиденциальных данных. Из реального примера можно убрать имена и числа, а структуру оставить.
Помогают ли баллы в бенчмарках?
Они измеряют заданные задачи, а не ваши. Используйте их, чтобы составить короткий список, а решайте по собственной проверке.
Что, если два помощника набрали одинаково?
Выберите помощника с меньшим числом ограничений и меньшими неудобствами в вашем повседневном порядке дел. Небольшие различия в ответах важны меньше, чем чат, который мешает.
Сначала проведите проверку текста в этом чате на 200 словах, написанных вами.
Открыть чат