Im Rahmen des Projekts Digitales Formatives Assessment (DiFA) wurde ein Online-Kurs entwickelt, der ein tracedatenbasiertes, individualisiertes Feedback zum Lernverhalten im Kurs beinhaltete. Der Kurs richtete sich an Lehramtsstudierende. Er thematisierte den Einsatz digitaler Medien im Unterricht und bestand aus fünf Lerneinheiten, die im Lauf eines Semesters bearbeitet wurden. Lernangebote innerhalb der Lerneinheiten umfassten multimediale Materialien (Texte, Videos) und Aktivitäten (Erstellung von Concept-Maps, Forendiskussion, Tests zur Selbstkontrolle). Während der Kursbearbeitung wurden detaillierte Logs der Interaktionen der Lernenden mit dem Kurs und den enthaltenen Lernaktivitäten aufgezeichnet, so dass neben Produktdaten auch feingranulare Logdaten zur Verfügung stehen, durch die Aufschlüsse auf das Nutzungsverhalten und Bearbeitungsprozesse möglich sind.Das Projekt umfasste zwei empirische Phasen: Während der Pilotstudie gaben die Teilnehmer Selbstauskünfte zu selbstreguliertem Lernen und Lernengagement und absolvierten einen Test zur Bewertung der Leistung bei der Verarbeitung multipler Dokumente. Zu den genannten Variablen wurde kein Feedback gegeben. Die standardisierten Messungen wurden als Zustandsmessungen (selbstreguliertes Lernen und Lernengagement) nach jeder der fünf Lerneinheiten des Kurses bzw. als Merkmalsmessungen (multiple Dokumentenverarbeitung) am Ende des Kurses durchgeführt. Eine Reihe von standardisierten Instrumenten wurde eingesetzt, um die interessierenden Kovariaten und Outcomes zu erfassen (soziodemografische Variablen, Selbstwirksamkeit im Unterricht, Selbsteinschätzungen zur Technologiekompetenz, multimediales Multitasking, Selbstwirksamkeiten, Persönlichkeitsmerkmale, Domänenwissen). Ziel der Pilotphase war es, die Daten für die in der Evaluationsstudie verwendeten tracedatenbasierten Verhaltensindikatoren und auf ihnen aufbauende Feedbackmodelle zu gewinnen. Die Pilotstudie beinhaltete kein experimentelles Design und keine Messung der Kovariate und Outcomes zum Prä-Zeitpunkt.In der zweiten empirischen Phase (Evaluationsstudie) wurde das Feedbacksystem in einem experimentellen Studiendesign evaluiert. Das Design umfasste einen Faktor (Feedback) und zwei Stufen (Experimentalgruppe: personalisiertes Feedback, Kontrollgruppe: nicht-personalisiertes Feedback) bei einfacher Randomisierung. Das Feedback wurde mittels eines Learning Analytics Dashboards am Ende jeder Lerneinheit angeboten und umfasste textuelle und grafische Rückmeldungen zum Lernverhalten in der zurückliegenden Lerneinheit sowie Vorschläge zur Verhaltensadaptation in der nachfolgenden Lerneinheit und wurde flankiert von Möglichkeiten zur Bewertung der Nützlichkeit und Verständlichkeit des Feedbacks und zum Verfassen von Selbstreflexionstexten. Sowohl vor Beginn der Bearbeitung der Lerneinheit (Prä-Zeitpunkt) als auch nach Abschluss der fünf Lerneinheiten erfolgte eine Messung von Outcome-Variablen, so dass eine Veränderungsmessung erfolgen kann.
In der Version 1.0.0 stehen nur die Forschungsdaten der DiFA Evaluationsstudie (Befragungsdaten und Scores) ohne Log-Daten zur Nachnutzung zur Verfügung.
Observation
Educational measurements and tests
Psychological measurements and tests
Self-administered questionnaire: Computer-assisted (CASI)
Lehramtsstudierende zu Beginn des Studiums / erste Ausbildungsphase
Nicht-Wahrscheinlichkeitsauswahl: Bewusste Auswahl; Nicht-Zufallsstichprobe: Respondenten gesteuerte Auswahl
