Almost Timely News: 🗞️ 如何测试AI模型 (2025-08-10)
Almost Timely News: 🗞️ 如何测试AI模型 (2025-08-10) :: 在浏览器中查看 重磅推荐 👁️ 观看我在美国营销协会上发表的主题演讲《永不独思：AI如何永远改变营销》。 👉 我的新书《几乎永恒：生成式AI的48条基础原则》现已发售！ 内容真实性声明 本周通讯100%由我本人（人类）生成。您将在视频中看到大量的AI输出。了解为何这种披露是个好主意，并且可能很快会成为与欧盟有任何业务往来者的强制要求。 在YouTube上观看本期通讯 📺 点击此处观看本期通讯的YouTube视频版本 📺 » 点击此处获取仅音频🎧MP3版本 » 我的思考：我如何进行AI模型测试 本周，我们来谈谈OpenAI GPT-5模型的推出以及我如何测试AI模型。希望在这篇通讯结束时，您能了解AI测试是什么、为什么要进行测试以及如何开始。 第一部分：为什么要测试AI模型？ 首先，所有生成式AI模型本质上都是概率性的。这意味着它们的功能永远不是100%保证的。它们总是有潜在的随机性元素。你可以对一个大型语言模型或图像生成模型给出相同的提示，并获得主题相似的响应，但你几乎永远不会两次得到完全相同的响应。 为了确保我们至少获得主题正确的响应，我们需要进行测试。我们需要确保模型能够交付在我们认为可接受的输出范围内的结果。这可能意味着使用特定语言、特定格式的响应等。 除此之外，我们需要了解的一个问题是模型是否适合我们的目的。为此，我们应该开发测试来帮助我们了解模型的能力。所有主要的AI模型都经过一系列标准基准测试。您会看到诸如MMLU-Pro、GPQA Diamond、Humanity’s Last Exam、SciCode、IFBench、AIME 2025、AA-LCR等奇怪的名称。 这些基准测试是好的，对于针对非常常见的用例或特定领域进行模型之间“同类比较”非常重要。然而，这些测试和基准对于测试我们生成式AI的特定用例并不擅长。 例如，一位小说家会更关心语调和风格的一致性，而不是一个Python程序员。一个Python程序员会更关心代码语法和正确的编码方法，而不是一个记者。所有主要基准都不可能测试我们在工作中使用的所有生成式AI用例。 反过来，这意味着如果一个模型在某些基准测试中表现不佳，并不一定意味着该模型不适合我们的工作。它仅仅意味着它在该测试中表现不佳。正如任何曾招聘过员工的人都知道，一个人拥有优秀的平均绩点并不意味着他会成为一个好员工。 通常，如果一个模型在所有给定测试中表现都比其他基准差，那是一个很好的指标，表明它不是一个优秀的AI模型。但仍然存在一些用例，它可能在非常特定狭窄的领域中具有高于平均水平的能力。 这就是我们进行测试的原因。这就是我们构建自己测试的原因，以便我们可以根据对我们重要的事情以及我们使用生成式AI执行的任务来评估模型。当我们有自己的测试时，我们可以针对我们自己的用例和我们自己的数据进行模型的同类比较。这还有一个额外的好处，即只要我们不公开我们的测试，AI模型制造公司就无法在我们的特定测试上作弊。 在过去几年中，这已经成为一个问题，因为一些公司专门构建模型以通过基准测试，但一旦它们在实际生活中部署，结果发现这些模型有些糟糕。（Meta Llama 4，说的就是你） 第二部分：我在测试什么？ 现在我们来看看我进行的具体测试。如上所述，我使用的测试是针对我的用例以及我希望AI如何为我工作的。我的测试可能不适用于除我之外的任何人。 我有两套测试。第一套是一个简短的能力测试，我经常公开张贴，考察内容包括当前知识获取能力、推理能力、解决问题能力、基本数学理解能力和编码能力。 对于Trust Insights的客户，如果他们订购，我还有一套更长的测试，它会在生成式AI的七个主要用例类别上推动模型，并测试偏见，以便我们评估一个模型是否最适合各种任务。 对于我的简短能力测试，以下是基本挑战： 广泛话题的当前知识。我会问一个关于过去几年发生的、相对较新的广泛话题的问题，例如俄罗斯非法入侵乌克兰的当前状况。这是一个非常有用的测试，因为它有大量的公开知识，我可以判断模型的知识截止点到底在哪里。 特定话题的当前知识。我经常会问一个模型了解的这本通讯最新一期以及其主题是什么的问题。这测试了它使用工具的能力（如果可用），如果不可用，至少能理解它是否知道我是谁以及我的领域。 数学练习。我经常会问一个需要两个或更多阶段数学计算结合的数学练习，以查看模型是否能理清数字。例如，我可能会让它调整一件商品的销售价格并将其从美元转换为欧元，或者重新调整食谱并将其从英制单位转换为公制单位。无论数学问题是什么，它都是一个基本计算器可以完成的事情，但如果基于Transformer的模型没有正确调用工具，它将很难完成。 推理练习。我将提出一个需要主题知识和推理能力的问题，例如在食谱中进行食物替换，或者当一个营销渠道表现不佳时选择不同的营销渠道。要完成这个练习，模型必须理解该领域，并且必须理解它需要进行的替换或更改才能使事情再次正常运行。 编码练习。我将给模型一个不恰当的短提示，通常细节不足，但包含特定的关键字，这些关键字应该能引发一个完整的响应，例如构建一个游戏，或者构建一个计算器，或者在浏览器中构建一个既有内部依赖项又有外部依赖项的可运行程序。要做好这一点，模型必须了解这些外部依赖项并正确调用它们。 写作练习。我将给模型一个特定的写作风格和提示，加上一些数据，让它根据该写作风格生成文本，并判断它对写作风格的遵循程度。写作风格本身可以影响模型写作的好坏，因此通过以非常特定的格式（YAML）提供我的写作风格，我可以查看模型是否具有扎实的写作流畅性，能将不足的数据和健壮的写作风格转化为可靠的产品。 这些不是综合性测试，也不是适合所有人使用的测试。它们是我为自己创建的测试，因为这些是我关心的事情。还有一套额外的测试是保密的，但这只是一个很好的开始。 还有两种不同的测试模型方式。第一种是使用普通消费者使用的网页界面，第二种是使用API，它允许你直接使用模型。…
