In diesem Artikel wird erklärt, was das „Beta“-Tag bei Wissenstests anzeigt, wie diese Tags funktionieren und wie es nach der Betaphase weitergeht.
- Hier findest du weitere Infos zu Wissenstests und wie du sie aufrufst.
Was ist ein „Beta“-Tag und wie sieht es aus?
Ein „Beta“-Tag bei einem Wissenstest zeigt an, dass der Wissenstest neu ist und dass wir Daten erfassen, um Verbesserungen vorzunehmen. Die folgende Abbildung zeigt ein „Beta“-Tag.
Welche Änderungen werden während und nach der Betaphase voraussichtlich vorgenommen?
Der Betastatus bedeutet nicht, dass sich der Wissenstest in einer experimentellen oder Probephase befindet. Er gibt nur an, dass wir weiterhin die Nutzerdaten erfassen, um die Ausgewogenheit und die Kohorte für aussagekräftige Punktwerte optimal zu modellieren. Beta-Wissenstests sind eine gute Möglichkeit, um sich anhand der beantworteten Fragen ein aussagekräftiges Feedback darüber zu holen, welche Skills gut beherrscht werden oder wo noch Wissenslücken vorhanden sind.
Während der Betaphase kann es passieren, dass wir einzelne Fragen deaktivieren oder ändern, wenn sie nicht zum gewünschten Ergebnis führen oder es zweifelhaft ist, ob sich der betreffende Skill damit zuverlässig beurteilen lässt. (Wir überwachen übrigens auch nach dem Ende der Betaphase weiterhin die Qualität und nehmen ggf. Verbesserungen vor.)
Wie werden die Fragen vor dem Beginn der Betaphase ausgewählt?
Die Fragen werden mit einem modellbasierten Ansatz entwickelt und sorgfältig ausgewählt. Sie beruhen auf Lerninhalten unserer Fachexperten bei Udemy. Nach der Entwicklung durchlaufen die Fragen eine weitere automatisierte Bewertungsrunde mit einer Prüfung auf etwaige auffällige Qualitätsprobleme. Anschließend werden sie den Nutzer:innen vorgelegt. Da Wissenstests in der Betaphase noch sehr neu sind, überwacht unser Team kontinuierlich die Leistungsdaten und/oder produktinternes Feedback zu den Fragen, um sie bei Bedarf zu überarbeiten oder zu entfernen. In der Regel werden aber bei der Mehrzahl der Fragen beim Verlassen der Betaphase keine größeren Änderungen vorgenommen.
Wie werden die Ergebnisse der Betaphase genutzt?
Die Änderungen, die wir während der Betaphase vornehmen, konzentrieren sich hauptsächlich auf die Verbesserung der Aussagekraft des Punktwerts für den jeweiligen Wissenstest.
Wenn ein neuer Wissenstest veröffentlicht wird, legen wir bestimmte Grundannahmen zum Punktwert fest, die sich darauf beziehen, wie die Fragen des Wissenstests funktionieren und welche Leistung die Nutzer:innen im Verhältnis zum Inhalt erbringen müssen. Nachdem eine ausreichende Datenmenge erfasst wurde, können wir diese ursprünglichen Annahmen präzisieren, um ein genaueres Punktwertmodell zu entwickeln.
Da diese Präzisierung vor allem in der Betaphase erfolgt, ist der Wissenstest dann kalibriert und es werden anschließend nur noch kleinere Änderungen und Verbesserungen vorgenommen. Aus diesem Grund sind unsere kalibrierten Wissenstests ein hervorragendes Tool, mit dem sich die Weiterentwicklung von Skills durch das wiederholte Absolvieren ein und desselben Wissenstests sehr gut überprüfen lässt.
Welche Modellierungsannahmen zum Punktwert gelten während der Betaphase?
Bei der Modellierung der Beta-Wissenstests gehen wir zunächst davon aus, dass alle Fragen ungefähr denselben Schwierigkeitsgrad aufweisen und dass das durchschnittliche Wissen der Nutzer:innen in Bezug auf den zu bewertenden Skill normal verteilt und dem Schwierigkeitsgrad der Fragen gut entspricht. Im Laufe der Zeit und mit einer ausreichenden Datenmenge revidieren wir diese Annahmen und entfernen die „Beta“-Kennzeichnung. Dies bedeutet, dass der anfängliche Kalibrierungsprozess abgeschlossen ist und die Punktebewertung der Nutzer:innen nun dem individuellen Schwierigkeitsgrad der jeweils beantworteten Fragen entspricht. Die Perzentilwerte, die den Nutzer:innen angezeigt werden, werden ebenfalls aktualisiert, sodass sie den aktuellen Performance-Daten der auf der Plattform absolvierten Wissenstests entsprechen.
Welchen Einfluss hat die Betaphase auf die Punktebewertung?
Wenn Lernende einen Wissenstest in der Betaphase abgeschlossen haben, hat eine spätere Kalibrierung der Fragen keine Auswirkungen auf die Ergebnisse. Die Ergebnisseite bleibt ein Schnappschuss ihrer Beta-Bewertung.
Wenn die Nutzer:innen den Wissenstest nach Abschluss der Betaphase erneut absolvieren, sehen sie möglicherweise Veränderungen beim Punktwert, Perzentil und/oder Wissenslevel, bedingt durch Änderungen bei der Kalibrierung und Kohorte (neben den möglichen Veränderungen ihrer eigenen Leistung). Die Betaversion und die kalibrierte Version (nach Abschluss der Betaphase) lassen sich daher nur bedingt vergleichen und es sollten bei einem solchen Vergleich keine definitiven Schlussfolgerungen über den Fortschritt gezogen werden.
Wenn also aus Vergleichen zwischen mehreren Wiederholungen desselben Wissenstests Schlussfolgerungen über die Skill-Entwicklung gezogen werden, sollten für präziseste Ergebnisse nur Wiederholungen eines vollständig kalibrierten Wissenstests (nach Abschluss der Betaphase) miteinander verglichen werden.