この記事では、評価テストのベータ版とは何か、それがどのように機能するのか、ベータ版期間終了後に起きることについて説明します。
- 評価テストとそのアクセス方法の詳細をご覧ください。
- 評価テストをご利用いただけるのはUdemy Business Proのユーザーのみです。
「ベータ版」とは何を示し、どのようなものですか？
評価テストの「ベータ版」という表記は、その評価テストが新しく、改善のためにデータを収集していることを示します。以下にベータ版の例を示します。
ベータ版の期間中と終了後には、どのような変化がありますか？
ベータ版というステータスは、評価テストが実験または試用期間中であることを示すものではありません。単に、スコア基準のための難易度調整やコホート分析のメカニズムを完全にモデル化するために、まだユーザーデータを収集している段階であることを示しています。それでも、ベータ版の評価テストは、スキルの習熟度に関する有意義なフィードバックや、不正解の質問に基づく特定の学習領域へのガイダンスを得るのに優れた方法です。
ベータ期間中は、ユーザー体験を損なう質問や、スキルを正しく評価できるか懸念される質問を無効にしたり内容を変更したりする可能性があります（実際、ベータ版の後も引き続き品質の監視と改善を行っています）。
ベータ版に入る前に質問はどのように選定されますか？
質問は、学習者に初めて公開される前に、すでに綿密な品質管理が行われているため、一般に、問題のある項目の大部分は、ベータ版に入る前にすでに削除または修正されています。ベータ版の評価テストは新しいものであるため、データ収集や製品内のフィードバックに応じてチームがいくつかの項目を調整することは珍しくありません。しかし、ベータ版からの移行にあたっては、質問の大幅な変更や、多数の質問の入れ替えは通常行われません。
ベータ期間はどのように使用されますか？
ベータ期間中に行う改善は主に、各評価テストのスコアの精度向上に焦点を当てています。
最初に評価テストをリリースする際、評価テストの質問がどのように機能するか、ユーザーが質問に対してどのような成績を残すかについてスコア付けするための基本的な仮定をいくつか立てます。時間をかけて十分なデータが得られると、元の仮定に戻って、より正確なスコアリングモデルに合わせて調整することができます。
ベータ版期間中にスコアリングの主要な改良が行われるため、評価テストの調整が完了すれば、その後のアップデートや改善は、より些細なものになり、頻度も少なくなります。これにより、調整された評価テストは、再受験を通してスキルの成長を確認するための非常に優れたツールとなります。
ベータ版期間中、どのようなスコアモデリングの仮定が立てられますか？
ベータ版評価テストで最初に立てるモデリングの仮定は、すべての質問がほぼ同じ難易度であり、評価対象スキルの平均的なユーザーの知識が正規分布し、質問の難易度と適切に一致していることです。時間をかけて十分なデータが得られると、初期の仮定を見直し、「ベータ版」の表記を削除します。これにより、初期の調整プロセスが完了し、学習者のスコアが回答した各質問の固有の難易度を反映していることを示します。プラットフォーム上での評価テストの回答から得られた最新の成績データをもとに、学習者に報告されるパーセンタイルのスコアも更新されます。
スコアはベータ版によってどのような影響を受けますか？
学習者がベータ版の評価テストを受験し、その評価テストが後から調整された場合でも、結果ページには遡及的な変更は加えられません。最初の結果がベータ版の元のスコアのスナップショットとしてそのまま残ります。
ユーザーがベータ版後に評価テストを再受験した場合、ユーザー自身のパフォーマンスの変化とは別に、アイテムの調整やコホートの変化に基づいて、スコア、パーセンタイル、習熟度レベルに何らかの変化が見られる場合があります。それはすべて混同される可能性があるため、ベータ版と調整済み（非ベータ版）の比較に基づいて、進捗や成長に関する決定的な結論を出すことは避ける必要があります。
したがって、複数の評価テストの比較を使用してスキル成長の結論を導き出す場合、最も正確な測定は、調整が完了した評価テスト（非ベータ版）の複数の評価テストを比較することです。