Quatre tests qui valent 20 minutes
Pose une question dont tu connais déjà la réponse, une question vraiment difficile tirée de ton travail, une question proche de la limite de ton sujet, puis garde une même conversation pendant 15 messages. Ces 4 tests couvrent l'exactitude, la capacité, le filtre et la mémoire, soit tout ce qui aura un effet sur toi.
L'usage occasionnel te dit quelle impression donne un produit et cache la façon dont il échoue. Or ce sont les échecs qui décident si tu continues à l'utiliser : mieux vaut les provoquer exprès, et tôt.
À lire ensuite
Sur cette page
La réponse connue
Une question de ton domaine dont tu peux juger la réponse avec précision. C'est le seul test qui mesure l'exactitude plutôt que l'aisance, et celui que les gens sautent, parce que la réponse ne leur sert à rien. L'enjeu n'est pas la réponse : c'est de calibrer la confiance à accorder au reste.
La question vraiment difficile
Quelque chose avec quoi tu as réellement buté. Les questions faciles sont bien traitées par tous les outils et ne départagent rien. La difficulté est ce qui sépare les produits, et seul ton propre travail fournit le bon niveau.
Le cas limite
Un exemple réel de ton travail, proche d'un sujet sensible. Pas une provocation : une question légitime qu'un filtre prudent pourrait bloquer. Cela te dit si le produit est utilisable pour ton domaine, ce qu'aucun test publié ne te dira.
La longue conversation
Quinze messages sur un même sujet, puis fais référence à un élément du message 2. Cela mesure la fenêtre de mémoire et la dérive, et c'est là que les produits diffèrent le plus et que les tests publiés regardent le moins. La plupart des déceptions envers un assistant sont en réalité des déceptions au message 30.
Ce que l'on demande avant de changer
Faut-il utiliser les mêmes tests partout ?
Oui, et il faut les écrire. Toute la valeur tient à la comparabilité, et des questions retenues de mémoire dérivent d'un produit à l'autre.
20 minutes suffisent-elles vraiment ?
Pour éliminer les produits inadaptés, largement. Pour départager deux bons produits, une semaine de travail réel tranche mieux.
Et s'il échoue à un test ?
Cela dépend lequel. Échouer au cas limite exclut le produit pour ton domaine ; échouer à la longue conversation est agaçant mais contournable.
Fais les 4 tests ici et compare avec ce que tu utilises actuellement.
Ouvrir le chat