这篇文章解释了评估的 Beta 标签指示什么，它们是如何工作的，以及 Beta 结束后可能会发生什么。
什么是“Beta”标签，它们看起来是什么样子的？
评估上的“Beta”标签表示评估是全新的并且我们正在收集数据以进行改进。您可以在下面看到一个 Beta 标签的示例。
在 Beta 期间和之后，预计会发生什么样的变化？
Beta 状态并不意味着评估是实验性的或处于试验期，它只是表明我们仍在收集用户数据，使我们能够为得分基准建立平衡和队列机制的完整模型。Beta 评估仍然是实现以下目的的好方法：获得关于技能熟练程度的有意义的定向反馈，以及根据遗漏的问题获得特定学习领域的指导。
在 Beta 期间，我们可能会停用或更改会导致以下结果的个别问题：用户体验不佳，或者让我们担心我们是否有能力通过这些问题来有效评估技能。（事实上，即使在 Beta 之后，我们也会继续监控质量并进行改进。）
在进入 Beta 之前如何选择问题？
问题均采用基于模型的方法精心设计，内容源自 Udemy 主题专家提供的学习内容。在设计完成后，问题会经过另一轮自动化评估，以识别任何潜在的质量问题，确保在展示给用户之前解决这些问题。由于 Beta 评估是全新的，我们的团队将通过表现数据和/或产品内反馈持续监控问题，并根据需要进行修订或移除。但大多数情况下，在从 Beta 过渡的过程中，很大一部分问题不会发生太大变化。
Beta 时期是如何使用的？
我们在 Beta 时期所做的改进主要集中在提高每个特定评估的分数准确性上。
当我们第一次发布评估时，我们对有关评估问题将如何发挥作用以及用户在内容方面将如何表现的评分做了一些基本假设。随着时间的推移，有了足够的数据，我们可以回过头来调整这些原始假设，以建立更准确的评分模型。
由于我们对评分的主要改进是在 Beta 期间进行的，一旦评估经过校准，随着时间的推移，我们所做的持续更新和改进将更加细微，并以较慢的节奏进行。这使得我们的校准后评估成为一个更好的工具，用于通过重新进行评估来观察技能增长。
Beta 期间进行了哪些分数建模假设？
我们使用 Beta 评估进行了初步建模假设，即所有问题的难度大致相同，用户对所评估技能的平均知识是正态分布的，并且与问题难度一致。随着时间推移，在有足够数据的情况下，我们会修订这些假设并删除“Beta”标志，以表明初始校准过程已经完成，学习者的分数现在反映了他们回答的特定项目的独特难度。向学习者报告的百分位分数也会更新，以反映平台上评估回答的最新表现数据。
Beta 对分数有何影响？
如果学习者在 Beta 期间完成了评估，后来进行了校准，他们的原始结果将不会改变。结果页面仍然是他们 Beta 评分的快照。
如果用户在 Beta 后重新进行评估，他们可能会看到基于项目校准和队列的变化（除了他们自己可能的表现变化），分数、百分位数和/或熟练程度级别发生了一些变化。由于所有这些都将合并在一起，因此重要的是不要基于 Beta 与所校准内容（非 Beta）的比较得出任何明确的进步/增长结论。
因此，在使用多个评估结果之间的比较来得出技能增长结论的情况下，请注意，最准确的读数将是比较完全校准（非 Beta）评估的多个结果。