NotTrack AI
登录 打开聊天

如何按工作挑选AI助手,每项工作都有对应测试

阅读约 2 分钟

如何按工作挑选AI助手,每项工作都有对应测试

没有哪个助手在所有方面都最好,通用排名也很难说明你的任务。按工作来选:给每个候选一个这项工作的小型真实样本,用你能核实的东西检验结果,并按3次尝试打分。写作需要保留你自己的语气。代码需要能运行的修复。研究需要真实存在的来源。

问哪个助手最好,就像不说明是什么工作,却问哪种工具最好。更快的办法是对2到3个候选运行同一个小测试,自己阅读结果。

本页内容
  1. 写作:它保留你的语气吗?
  2. 代码:修复能运行吗?
  3. 研究:来源真实存在吗?
  4. 长文档:它能找到第40页的内容吗?
  5. 翻译与语言
  6. 打分并决定
  7. 转投之前,人们通常会问

写作:它保留你的语气吗?

粘贴200字你自己写的文字,请它改得更精炼,语气保持不变。把结果与原文对比。好的结果会删减字数,同时保留你的意思和风格。差的结果会把一切改写成同一种圆滑、千篇一律的腔调。同样的要求提3次,因为每次结果都不同。

代码:修复能运行吗?

给出一个小的真实错误及其报错信息,请它给出修复。运行这个修复。再请它写一个本可以发现这个错误的测试,并运行这个测试。留意在你的版本中并不存在的函数或选项,因为编造名称是最常见的失误。

研究:来源真实存在吗?

问一个你很熟悉的领域里的问题,这样你能判断答案的好坏。请它给出来源,然后打开每一个来源。检查每个来源是否存在,内容是否与答案所称一致,日期是否吻合。记下这个工具是能查询当前网页,还是只能依据训练文本工作。

长文档:它能找到第40页的内容吗?

粘贴一段长文本,提3个你知道答案的问题,1个来自开头,1个来自中间,1个来自结尾。上下文窗口小的工具会丢掉中间部分。还要问一问文本没有涵盖什么,看它是否承认存在空白。

翻译与语言

把你很熟悉的一段文字双向翻译。请母语者看一看,或自己阅读,关注语气,而不只是意思。检查名称、数字和技术术语是否保留,以及工具是否保持了你要求的语体。

打分并决定

给每次尝试打1到5分,并对3次尝试取平均。记下有什么碍事:限额、登录、速度或拒答。选择在你最常做的那项工作上平均分最高的工具,另留一个工具,用于它做得更好的那项工作。

转投之前,人们通常会问

尝试几次才够?

每项任务3次尝试,足以看出结果的波动范围。单独一次尝试,可能碰巧让一个工具显得出色或表现糟糕。

该用私人材料来测试吗?

使用不含个人或机密信息的样本。你可以从真实例子中去掉姓名和数字,保留结构。

基准测试分数有帮助吗?

它们衡量的是既定任务,而不是你的任务。用它们来缩小候选范围,用你自己的测试来做决定。

如果2个助手得分一样呢?

选择限制更少、在你日常使用中阻碍更小的那个助手。答案上的细微差别,不如一个碍事的聊天工具重要。

先在这个聊天工具里做写作测试,用你自己的200字。

打开聊天

在不同AI聊天之间做选择