En este artículo se explica qué indica la etiqueta "Beta" en las evaluaciones, cómo funcionan esas evaluaciones y qué cabe esperar una vez acabada la beta.
- Obtén más información sobre las evaluaciones y sobre cómo acceder a ellas.
¿Qué es una etiqueta "Beta" y qué aspecto tiene?
Una etiqueta "Beta" en una evaluación indica que la evaluación es nueva y que estamos recopilando datos para realizar mejoras. Aquí tienes un ejemplo de una etiqueta "Beta".
¿Qué tipo de cambios cabe esperar durante y tras una beta?
El estado de beta no implica que la evaluación sea experimental o esté en un periodo de prueba. Simplemente indica que todavía estamos recopilando los datos sobre los usuarios que nos permiten ajustar por completo las mecánicas de equilibrio y cohorte que utilizamos para calcular las puntuaciones. Las evaluaciones beta siguen siendo una gran forma de recibir comentarios orientativos valiosos sobre la competencia en habilidades y de obtener indicaciones relativas a áreas de aprendizaje concretas en función de las preguntas que no se hayan respondido correctamente.
Durante las betas, es posible que desactivemos o cambiemos preguntas específicas que supongan una experiencia negativa para los estudiantes o nos hagan dudar de nuestra capacidad para evaluar adecuadamente una habilidad con ellas. De hecho, seguimos supervisando la calidad y realizando mejoras incluso después de las betas.
¿Cómo se seleccionan las preguntas antes de que empiece una beta?
Las preguntas se desarrollan cuidadosamente utilizando un enfoque basado en modelos que se basa en el contenido de aprendizaje de nuestros expertos en la materia en Udemy. Tras el desarrollo, las preguntas pasan por otra ronda de evaluación automatizada para identificar cualquier problema de calidad pendiente antes de presentárselas a los usuarios. Dado que las evaluaciones Beta son nuevas, nuestro equipo supervisa continuamente las preguntas con la ayuda de datos de rendimiento o comentarios en el producto para revisarlas o eliminarlas cuando sea necesario. Pero, en la mayoría de los casos, no habrá cambios significativos en un porcentaje considerable de las preguntas cuando se acabe la beta.
¿Cómo se utiliza el periodo de beta?
Las mejoras que realizamos durante el periodo de beta se centran principalmente en incrementar la precisión de las puntuaciones de cada evaluación.
Cuando publicamos por primera vez una evaluación, basamos las puntuaciones en algunas suposiciones básicas sobre el funcionamiento de las preguntas de la evaluación y sobre cómo será el rendimiento de los usuarios en relación con el contenido. Pasado un tiempo y habiendo recopilado suficientes datos, podemos volver a esas suposiciones originales y adaptarlas para que el modelo de puntuaciones sea más preciso.
Dado que los principales retoques relacionados con las puntuaciones se realizan durante las betas, una vez calibrada una evaluación, las actualizaciones y mejoras continuadas que realizamos a lo largo del tiempo serán más sutiles y menos frecuentes. Eso es lo que hace que nuestras evaluaciones calibradas sean una gran herramienta para comprobar el crecimiento de las habilidades volviendo a realizar las evaluaciones.
¿Qué suposiciones se hacen sobre los modelos de puntuaciones durante las betas?
Hacemos una suposición inicial relativa a las evaluaciones beta de que todas las preguntas son más o menos igual de difíciles, y de que los conocimientos medios de los usuarios sobre las habilidades evaluadas están distribuidos normalmente y bien alineados con la dificultad de las preguntas. Pasado un tiempo y habiendo recopilado suficientes datos, revisamos esas suposiciones y quitamos la etiqueta "Beta" para indicar que se ha completado la calibración inicial y que ahora las puntuaciones de los estudiantes reflejan la dificultad única de los elementos concretos a los que han respondido. Los percentiles de las puntuaciones que ven los estudiantes también se actualizan para reflejar los datos de rendimiento más recientes de las respuestas a las evaluaciones en la plataforma.
¿Cómo afectan las betas a las puntuaciones?
Si un estudiante completa una evaluación durante la beta y esta se modifica posteriormente, sus resultados originales no cambiarán. La página de resultados sigue ofreciendo una instantánea de tu puntuación en la beta.
Si el usuario vuelve a realizar la evaluación tras la beta, puede que aprecie cambios en la puntuación, el percentil o el nivel de competencia debido a cambios en la cohorte y la calibración de los elementos (aparte de posibles cambios en su propio rendimiento). Dado que todos estos cambios se aplican simultáneamente, es importante no sacar conclusiones definitivas sobre el progreso o crecimiento comparando los resultados durante la beta con los resultados tras la calibración.
Por tanto, en un escenario en el que se utilicen comparaciones entre varias evaluaciones para sacar conclusiones sobre el crecimiento de las habilidades, es importante tener en cuenta que lo más preciso será comparar varios intentos de una evaluación totalmente calibrada que ya no esté en beta.