Как выбрать ИИ-помощника под задачу: проверка для каждой
Нет помощника, который лучше во всём, и общие рейтинги мало говорят о вашей задаче. Выбирайте под задачу: дайте каждому кандидату небольшой реальный образец такой работы, сверьте результат с тем, что можете проверить, и оцените его за 3 попытки. В тексте должен сохраниться ваш собственный голос. В коде исправление должно запускаться. В исследовании источники должны существовать.
Спрашивать, какой помощник лучше всех, — всё равно что спрашивать, какой инструмент лучше, не назвав работу. Быстрее сделать одну и ту же небольшую проверку на 2 или 3 кандидатах и самому прочитать результаты.
На этой странице
Текст: сохраняет ли он ваш голос?
Вставьте 200 слов, которые написали вы, и попросите более сжатую версию в том же тоне. Сравните её с оригиналом. Хороший результат сокращает слова, оставляя ваш смысл и стиль. Слабый результат переписывает всё одним и тем же гладким безликим голосом. Задайте одну и ту же просьбу 3 раза, потому что результаты отличаются.
Код: запускается ли исправление?
Дайте небольшую реальную ошибку вместе с сообщением о ней и попросите исправление. Запустите его. Затем попросите тест, который поймал бы эту ошибку, и запустите и его. Следите за функциями и параметрами, которых нет в вашей версии, потому что выдуманные названия — самая частая неудача.
Исследование: существуют ли источники?
Задайте вопрос из области, которую вы хорошо знаете и где можете оценить ответ. Попросите источники, затем откройте каждый. Проверьте, что источник существует, что в нём сказано то, что утверждает ответ, и что дата подходит. Отметьте, умеет ли инструмент искать актуальные страницы или работает только с текстом, на котором обучен.
Длинные документы: находит ли он то, что на странице 40?
Вставьте длинный текст и задайте 3 вопроса, ответы на которые вы знаете: 1 из начала, 1 из середины и 1 из конца. Инструменты с небольшим контекстным окном теряют середину. Спросите также, чего в тексте нет, и посмотрите, признаёт ли он пробелы.
Перевод и языки
Переведите хорошо знакомый вам абзац в обе стороны. Попросите носителя языка или прочитайте сами, оценивая тон, а не только смысл. Проверьте, что имена, числа и технические термины сохранились и что инструмент держит нужный вам стиль.
Оцените и решите
Поставьте каждой попытке оценку от 1 до 5 и усредните 3 попытки. Отметьте, что мешало: лимиты, вход в аккаунт, скорость или отказы. Выберите инструмент с лучшим средним баллом по работе, которую вы делаете чаще всего, и оставьте второй для задачи, с которой он справляется лучше.
Что спрашивают перед переходом
Сколько попыток достаточно?
3 попыток на задачу хватает, чтобы увидеть разброс. Одна попытка может случайно польстить инструменту или провалить его.
Стоит ли проверять на личных материалах?
Используйте образец без личных и конфиденциальных данных. Из реального примера можно убрать имена и числа, а структуру оставить.
Помогают ли баллы в бенчмарках?
Они измеряют заданные задачи, а не ваши. Используйте их, чтобы составить короткий список, а решайте по собственной проверке.
Что, если 2 помощника набрали одинаково?
Выберите помощника с меньшим числом ограничений и меньшими неудобствами в вашем повседневном порядке дел. Небольшие различия в ответах важны меньше, чем чат, который мешает.
Сначала проведите проверку текста в этом чате на 200 словах, написанных вами.
Открыть чат