Este artigo explica o que a tag Beta indica nas avaliações, como ela funciona e o que pode acontecer depois que a fase Beta acabar.
- Saiba mais sobre avaliações e como acessá-las.
- As Avaliações estão disponíveis apenas para usuários Udemy Business Pro.
O que é uma tag “Beta” e como ela é?
Uma tag “Beta” em uma avaliação indica que a avaliação é nova e que estamos coletando dados para fazer melhorias. Veja um exemplo de tag Beta abaixo.
Que tipos de mudanças podem ser esperadas durante e após a fase Beta?
O status Beta não indica que a avaliação é experimental ou está em período de teste, esse é apenas um indicativo de que estamos coletando dados de usuário para podemos moldar o equilíbrio e a mecânica de coorte para pontuações de comparativo. As avaliações Beta ainda são uma ótima maneira de obter feedback direcional significativo sobre a proficiência em habilidades e receber orientação para áreas de aprendizado específicas com base nas respostas incorretas.
Durante a fase Beta, nós poderemos desativar ou mudar perguntas específicas que apresentam uma experiência inadequada do usuário ou prejudiquem nossa capacidade de avaliar corretamente uma habilidade. Na verdade, continuamos a monitorar a qualidade e fazer melhorias mesmo após a fase Beta.
Como as perguntas são selecionadas antes de entrar na fase Beta?
As perguntas já passam por um rigoroso controle de qualidade antes da primeira exposição aos alunos, então, de maneira geral, uma grande porcentagem de itens problemáticos já foram eliminados ou corrigidos antes de entrar na Beta. Como as avaliações Beta são novas, não é incomum que nossa equipe ajuste alguns itens em resposta à coleta de dados e/ou feedback no produto. Mas, na maioria dos casos, não faremos grandes mudanças em uma porcentagem significativa das perguntas ao transicionar da fase Beta.
Como o período Beta é usado?
Os tipos de melhorias que fazemos durante o período Beta são principalmente focados em melhorar a precisão da pontuação para cada avaliação específica.
Quando lançamos uma avaliação, fazemos algumas suposições básicas para a pontuação sobre como as perguntas da avaliação vão funcionar e como os usuários se sairão em relação ao conteúdo. Ao longo do tempo, com dados suficientes, podemos voltar e personalizar essas suposições originais para um modelo de pontuação mais preciso.
Como as principais melhorias na pontuação são feitas durante a fase Beta, após a avaliação ser calibrada, as atualizações e melhorias contínuas que fazemos ao longo do tempo serão mais sutis e ocorrerão em uma velocidade menor. Isso faz com que nossas avaliações calibradas sejam uma ferramenta muito melhor para avaliar a evolução de habilidades ao serem refeitas.
Quais suposições do modelo de pontuação são feitas durante a fase Beta?
Fazemos uma suposição de modelo inicial com as avaliações Beta, em que todas as perguntas têm aproximadamente a mesma dificuldade e que o conhecimento do usuário médio sobre a habilidade avaliada é normalmente distribuído e alinhado à dificuldade da pergunta. Ao longo do tempo e com dados suficientes, revisamos essas suposições e removemos a tag "Beta" para indicar que o processo inicial de calibração está concluído e que a pontuação do aluno agora reflete a dificuldade exclusiva dos itens específicos que foram respondidos. As pontuações de percentil informadas aos alunos também são atualizadas para refletir os dados mais recentes de desempenho das respostas da avaliação na plataforma.
Como as pontuações são afetadas pela fase Beta?
Se um aluno fizer uma avaliação Beta e essa avaliação for ajustada posteriormente, não haverá mudança retroativa na página de resultados dele. Os primeiros resultados permanecem inalterados como um registro da pontuação original na fase Beta.
Se o usuário refizer a avaliação após a fase Beta, ele pode ver uma mudança na pontuação, no percentil e/ou no nível de proficiência de acordo com as mudanças na calibração do item e no coorte (além de suas próprias possíveis mudanças no desempenho). Como tudo isso será combinado, é importante não formular conclusões definitivas sobre progresso/crescimento com base na comparação entre as versões Beta e Calibrada (não Beta).
Portanto, em um cenário onde comparações entre várias tentativas de uma avaliação estão sendo usadas para formular conclusões sobre a evolução das habilidades, lembre-se de que as leituras mais precisas ocorrem ao comparar várias tentativas de uma avaliação totalmente calibrada (não Beta).