이 문서에서는 평가의 베타 태그가 무엇을 가리키는지, 어떻게 작동하며 베타가 끝난 이후의 상황은 어떻게 되는지에 대해 설명합니다.
- 평가 정보 및 평가 액세스 방법에 대해 자세히 알아보세요.
- Udemy Business Pro 사용자만 평가 기능을 사용할 수 있습니다.
“베타” 태그는 무엇이며 어떻게 생겼나요?
평가의 ‘베타’ 태그는 해당 평가가 신규 평가이고 개선을 위해 데이터를 수집 중이라는 것을 의미합니다. 베타 태그의 예는 다음과 같습니다.
베타 중과 베타 이후에 어떤 변화가 생길 수 있을까요?
베타 상태는 해당 평가가 실험 중이거나 시험 기간 중임을 나타내지 않습니다. 베타는 단순히 당사가 점수 벤치마킹을 위해 균형 및 코호트 공학을 완전히 모델링할 수 있도록 사용자 데이터를 수집 중임을 나타냅니다. 베타 평가는 여전히 스킬 숙련도에 대한 의미 있는 방향성 피드백을 받고 누락된 질문을 기반으로 특정 학습 영역에 대한 가이드를 얻을 수 있는 훌륭한 방법입니다.
당사는 베타 기간 중에 부족한 사용자 경험을 표현하거나 유효한 스킬 평가에 대한 당사의 능력에 대한 우려를 전달하는 개인 질문을 비활성화하거나 변경할 수 있습니다. (사실 당사는 베타 이후에도 지속적으로 품질을 모니터링하고 개선 작업을 수행합니다.)
베타 진행 전 질문은 어떻게 선정되나요?
이미 수강생에게 처음으로 공개되기 전에 질문이 상당한 품질 평가를 거쳤으므로 일반적으로 많은 문제 항목이 베타에 도입되기 전에 이미 제거되었거나 수정되었습니다. 베타 평가는 완전히 새로운 것이므로 당사의 팀이 데이터 수집이나 제품 내 피드백에 대하여 일부 항목을 수정하는 것이 익숙지 않습니다. 하지만 대부분의 경우 베타에서 전환 시 많은 양의 질문을 크게 변경할 일은 없을 것입니다.
베타 기간은 어떻게 사용되나요?
베타 기간 중 당사가 수행한 개선 작업은 주로 각 특정 평가의 점수 정확도를 개선하는 데 초점을 둡니다.
처음 평가를 릴리스했을 때 해당 평가 질문 그리고 사용자가 콘텐츠와 관련하여 어떻게 기능하는지에 대한 기본적인 점수를 예상합니다. 시간이 지나 충분한 데이터가 쌓이면 다시 돌아가 처음 가정 항목을 다듬어 더 정확한 점수 책정 모델을 구현합니다.
점수 책정에 대한 주요 개선 작업이 베타 중에 진행되므로, 평가가 보정된 후 시간이 지남에 따라 진행 중인 업데이트 및 개선 사항은 더 적어지고 더 느리게 작업이 진행됩니다. 따라서 보정된 평가가 재응시를 통해 스킬 성장을 살펴볼 수 있는 훨씬 더 나은 도구가 됩니다.
베타 중에는 어떤 점수 모델링 가정이 적용되나요?
베타 평가의 초기 모델링은 모든 질문의 난이도가 거의 같고, 평가된 스킬에 대한 평균 사용자 지식이 정상적으로 분포되어 있으며 질문 난이도와 잘 일치한다고 가정합니다. 시간이 지나고 충분한 데이터가 쌓이면 이러한 가정을 수정하고 ‘베타’ 플래그를 제거하여 초기 보정 프로세스가 완료되었으며 수강생 점수에 이제 수강생이 답한 특정 항목의 고유한 난이도가 반영되었음을 알려줍니다. 수강생에게 보고되는 백분위 점수도 플랫폼의 평가 응답에 대한 가장 최근 성과 데이터를 반영하도록 업데이트됩니다.
베타가 점수에 어떤 영향을 미치나요?
수강생이 베타 평가를 치르면 해당 평가가 나중에 보정되며 결과 페이지에 변경 사항이 소급 적용되지 않습니다. 첫 번째 결과는 베타 버전에서 원래 점수 정보 그대로 유지됩니다.
베타 이후 사용자가 평가를 다시 치르면 항목 보정 및 코호트의 변화에 따라 점수, 백분위수 및/또는 숙련도 수준에 약간의 변화가 있을 수 있습니다(성과의 변화 가능성과 별개). 이 모든 것이 종합적으로 고려되므로 베타 버전과 보정된 버전(비베타 버전)의 비교를 바탕으로 확정적인 발전/성장에 대한 결론을 내리지 않는 것이 중요합니다.
따라서 여러 평가 응시를 비교하여 스킬 성장에 대한 결론을 도출하는 상황에서는 완전히 보정된(비베타) 평가의 여러 응시를 비교하는 것이 가장 정확한 결과가 된다는 점에 유의해야 합니다.