Cet article explique ce qu'indiquent les tags bêta dans les évaluations ainsi que leur fonctionnement et ce qui suit.
- En savoir plus sur les évaluations et comment y accéder.
En quoi consistent les tags « bêta » et à quoi ressemblent-ils ?
Un tag « bêta » sur une évaluation indique qu'elle est nouvelle et que nous rassemblons des données en vue d'améliorations. Ci-dessous, un exemple de tag bêta.
Quelles modifications peuvent être apportées pendant et après une phase bêta ?
Le statut bêta n'indique pas que l'évaluation est expérimentale ou en période d'essai, mais simplement que nous sommes encore en train de collecter les données des utilisateurs qui nous permettent de modéliser complètement les mécanismes d'équilibrage et de cohorte pour l'indice de référence des scores. Les évaluations bêta restent un bon moyen d'obtenir du feedback pertinent sur les compétences et des conseils sur des domaines d'apprentissage spécifiques selon les mauvaises réponses.
Au cours de la phase bêta, nous pouvons désactiver ou modifier des questions individuelles qui présentent une mauvaise expérience pour l'utilisateur ou qui nous font douter de notre capacité à évaluer correctement une compétence à l'aide de ces questions. (En réalité, nous continuons de surveiller la qualité et d'apporter des améliorations, même après la phase bêta.)
Comment les questions sont-elles sélectionnées avant d'entrer en phase bêta ?
Les questions sont soigneusement élaborées en utilisant une approche basée sur un modèle qui est informée par le contenu d'apprentissage de nos experts chez Udemy. Après le développement, les questions passent par un autre tour d'évaluation automatisée pour identifier les problèmes de qualité en suspens avant de les exposer aux utilisateurs. Étant donné que les évaluations bêta sont toutes nouvelles, notre équipe surveille en continu les questions via les données de performance et/ou les retours d'expérience dans le produit pour les réviser ou les supprimer si nécessaire. Pour autant, il n'y aura généralement pas de changements importants sur un pourcentage élevé de questions à partir de la phase bêta.
Que se passe-t-il pendant la phase bêta ?
Les types d'améliorations que nous apportons pendant la phase bêta sont principalement axés sur l'amélioration de la précision des scores pour chaque évaluation.
Lorsque nous publions une évaluation pour la première fois, nous émettons quelques hypothèses de base pour la notation sur la manière dont les questions de l'évaluation fonctionneront et dont les utilisateurs se comporteront par rapport au contenu. Au fil du temps, avec suffisamment de données, nous pouvons revenir en arrière et adapter ces hypothèses initiales pour obtenir un modèle de notation plus précis.
Étant donné que les principales améliorations apportées à la notation sont réalisées pendant la phase bêta, une fois qu'une évaluation est calibrée, les mises à jour et les améliorations que nous apportons au fil du temps seront plus subtiles et se produiront à un rythme plus lent. Nous faisons ainsi de nos évaluations calibrées un outil encore plus performant qui permet d'évaluer l'évolution des compétences par le biais de rattrapages.
Quelles sont les hypothèses de modélisation des scores formulées pendant la phase bêta ?
Nous émettons une hypothèse de modélisation initiale avec les évaluations bêta, selon laquelle toutes les questions sont à peu près de la même difficulté et que la connaissance moyenne de l'utilisateur de la compétence évaluée est normalement distribuée et bien alignée sur la difficulté de la question. À terme, et avec suffisamment de données, nous révisons ces hypothèses et retirons la mention « bêta » pour indiquer que le processus de calibrage initial est terminé et que les scores du participant reflètent désormais la difficulté unique des éléments spécifiques auxquels il a répondu. Les scores centiles communiqués aux participants sont également mis à jour pour refléter les données de performance les plus récentes provenant des réponses à l'évaluation sur la plate-forme.
Comment la phase bêta influe-t-elle sur les résultats ?
Si un participant a complété une évaluation pendant la phase bêta et qu'elle est ensuite calibrée, ses résultats originaux ne changeront pas. La page des résultats reste un instantané de leur score bêta.
Si l'utilisateur repasse l'évaluation après la phase bêta, il peut constater un changement de score, de centileet/ou de niveau de compétence en fonction des modifications apportées au calibrage et aux groupes d'éléments (en plus de ses propres changements de performance). Étant donné que tous ces éléments seront confondus, il est important de ne pas tirer de conclusions définitives en matière de progrès ou de croissance sur la base d'une comparaison entre l'évaluation bêta et l'évaluation calibrée (non bêta).
Par conséquent, dans un scénario où les comparaisons entre plusieurs évaluations sont utilisées pour tirer des conclusions sur l'évolution des compétences, il convient de noter que les lectures les plus précises sont celles qui comparent plusieurs évaluations entièrement calibrées (non bêta).