Cet article explique ce qu'indiquent les tags bêta dans les évaluations ainsi que leur fonctionnement et ce qui suit.
- En savoir plus sur les évaluations et comment y accéder.
- Seuls les utilisateurs d'Udemy Business Pro ont accès aux évaluations.
En quoi consistent les tags « bêta » et à quoi ressemblent-ils ?
Un tag « bêta » sur une évaluation indique qu'elle est nouvelle et que nous rassemblons des données en vue d'améliorations. Ci-dessous, un exemple de tag bêta.
Quelles modifications peuvent être apportées pendant et après une phase bêta ?
Le statut bêta n'indique pas que l'évaluation est expérimentale ou en période d'essai, mais simplement que nous sommes encore en train de collecter les données des utilisateurs qui nous permettent de modéliser complètement les mécanismes d'équilibrage et de cohorte pour l'indice de référence des scores. Les évaluations bêta restent un bon moyen d'obtenir du feedback pertinent sur les compétences et des conseils sur des domaines d'apprentissage spécifiques selon les mauvaises réponses.
Au cours de la phase bêta, nous pouvons désactiver ou modifier des questions individuelles qui présentent une mauvaise expérience pour l'utilisateur ou qui nous font douter de notre capacité à évaluer correctement une compétence à l'aide de ces questions. (En réalité, nous continuons de surveiller la qualité et d'apporter des améliorations, même après la phase bêta.)
Comment les questions sont-elles sélectionnées avant d'entrer en phase bêta ?
Les questions font déjà l'objet d'un contrôle de qualité important avant d'être exposées pour la première fois aux participants, de sorte qu'en général, un grand nombre d'éléments problématiques ont déjà été éliminés ou corrigés bien avant d'entrer en phase bêta. Comme les évaluations bêta viennent d'être mises en place, il n'est pas rare que notre équipe modifie quelques éléments en réponse à notre collecte de données et/ou au feedback sur le produit. Pour autant, il n'y aura généralement pas de changements importants sur un pourcentage élevé de questions à partir de la phase bêta.
Que se passe-t-il pendant la phase bêta ?
Les types d'améliorations que nous apportons pendant la phase bêta sont principalement axés sur l'amélioration de la précision des scores pour chaque évaluation.
Lorsque nous publions une évaluation pour la première fois, nous émettons quelques hypothèses de base pour la notation sur la manière dont les questions de l'évaluation fonctionneront et dont les utilisateurs se comporteront par rapport au contenu. Au fil du temps, avec suffisamment de données, nous pouvons revenir en arrière et adapter ces hypothèses initiales pour obtenir un modèle de notation plus précis.
Étant donné que les principales améliorations apportées à la notation sont réalisées pendant la phase bêta, une fois qu'une évaluation est calibrée, les mises à jour et les améliorations que nous apportons au fil du temps seront plus subtiles et se produiront à un rythme plus lent. Nous faisons ainsi de nos évaluations calibrées un outil encore plus performant qui permet d'évaluer l'évolution des compétences par le biais de rattrapages.
Quelles sont les hypothèses de modélisation des scores formulées pendant la phase bêta ?
Nous émettons une hypothèse de modélisation initiale avec les évaluations bêta, selon laquelle toutes les questions sont à peu près de la même difficulté et que la connaissance moyenne de l'utilisateur de la compétence évaluée est normalement distribuée et bien alignée sur la difficulté de la question. À terme, et avec suffisamment de données, nous révisons ces hypothèses et retirons la mention « bêta » pour indiquer que le processus de calibrage initial est terminé et que les scores du participant reflètent désormais la difficulté unique des éléments spécifiques auxquels il a répondu. Les scores centiles communiqués aux participants sont également mis à jour pour refléter les données de performance les plus récentes provenant des réponses à l'évaluation sur la plate-forme.
Comment la phase bêta influe-t-elle sur les résultats ?
Si un participant a passé une évaluation bêta et que cette évaluation est calibrée par la suite, il n'y a pas de changement rétroactif sur sa page de résultats. Les premiers résultats restent intacts en tant qu'aperçu de la notation originale en phase bêta.
Si l'utilisateur repasse l'évaluation après la phase bêta, il peut constater un changement de score, de centile et/ou de niveau de compétence en fonction des modifications apportées au calibrage et aux groupes d'éléments (en plus de ses propres changements de performance). Étant donné que tous ces éléments seront confondus, il est important de ne pas tirer de conclusions définitives en matière de progrès ou de croissance sur la base d'une comparaison entre l'évaluation bêta et l'évaluation calibrée (non bêta).
Par conséquent, dans un scénario où les comparaisons entre plusieurs évaluations sont utilisées pour tirer des conclusions sur l'évolution des compétences, il convient de noter que les lectures les plus précises sont celles qui comparent plusieurs évaluations entièrement calibrées (non bêta).