Evaluationsverfahren für Lernmangementsysteme

Bei der Evaluation von Lernmanagementsystemen kann grundsätzlich unterschiedenen werden zwischen

• Kriterienkatalogen und Prüflisten
• Rezensionen
• Vergleichsgruppen
• Expertenbeurteilung (Baumgartner; Häfele; Maier-Häfele 2002).

Im Folgenden werden diese vier verschiedenen Evaluationsweisen näher beschrieben.

Kriterienkataloge und Prüflisten

Kriterienkataloge und Prüflisten sind eine systematische Zusammenstellung von Items zu verschiedenen Merkmalen des Untersuchungsgegenstands. Solche Merkmale können beispielsweise die Gestaltung der Bedienoberfläche, die Verständlichkeit und Lesbarkeit, aber eben auch die Barrierefreiheit des Untersuchungsgegenstands sein. Für die Durchführung genügen eine oder mehrere fachkundige Personen sowie bei der Untersuchung von Lernmanagementsystemen eine nutzbare Installation der Software. Das Verfahren ist häufig kostengünstig und einfach zu organisieren, wobei dies aber auch von der Anzahl der Items abhängig ist. Durch die immer gleiche Abarbeitung mit gleichen Kriterien ist das Verfahren auch methodisch sauber, wobei die Vergleichbarkeit der Ergebnisse von verschiedenen Kriterien wie der Zuverlässigkeit der Bewertung abhängt, so dass unter Umständen verschiedene Evaluatoren mit dem gleichen Kriterienkatalog zu unterschiedlichen Ergebnissen kommen. Zudem können nicht immer alle Bewertungskriterien in einem Katalog oder einer Prüfliste berücksichtigt werden, da zu umfangreiche Listen schlecht zu handhaben sind. Kriterienkataloge sind also möglicherweise nicht vollständig oder nicht detailliert genug, um alle Evaluationsaspekte zu erfassen. Die notwendige Objektivität ist bei Kriterienkatalogen und Prüflisten mittels klarer und eindeutiger Bewertungs- und Gewichtungsverfahren zu erreichen. Wird es versäumt, klare Richtlinien für die Bewertung aufzustellen, dann werden Items individuell bewertet und die Ergebnisse sind somit nicht mehr objektiv und nachvollziehbar.

Rezensionen

Bei der Evaluation von Lernmanagementsystemen mittels Rezensionen steht nicht ein objektives Urteil im Vordergrund, sondern der Sinn besteht gerade im Verarbeiten von subjektiven Eindrücken und Erfahrungen. Rezensionen werden unabhängig vom realen Einsatz eines Lernmanagementsystems angefertigt und sind daher kostengünstig und einfach zu produzieren. Je nach Evaluator werden dabei unterschiedliche Schwerpunkte gesetzt.
Die Nachteile einer Rezension sind darin zu sehen, dass die Ergebnisse sehr uneinheitlich und daher kaum vergleichbar sind. Das Setzen individueller Prioritäten und Schwerpunkte in der Begutachtung lässt Rezensionen zudem willkürlich erscheinen.

Vergleichsgruppen

Bei der Evaluation eines Lernmanagementsystems mittels Vergleichsgruppen werden aus „statistischen Zwillingen“ zwei Gruppen gebildet. Anschließend werden beide Gruppen mit dem gleichen Test untersucht, um Unterschiede bspw. im Lernerfolg oder in der Nutzung eines Systems festzustellen. Dieses Verfahren entspricht den traditionellen Wissenschaftsstandards der Objektivität, Reliabilität und Validität, bringt aber gleichwohl gewisse Nachteile mit sich. So ist der Aufwand der Datenerhebung und -auswertung relativ hoch, was das Verfahren kostspielig macht. Zudem ist es schwierig, einzelne Faktoren methodisch zu isolieren und identische Vergleichsgruppen zu bilden.

Expertenbeurteilung

Für die Expertenbeurteilung werden Expertinnen und Experten mittels geeigneter Verfahren wie der Delphi-Methode, moderierten Gruppensitzungen oder Interviews befragt und zu einem Werturteil geführt. Bei dieser Methode handelt es sich ebenfalls um ein kostengünstiges und relativ einfach durchzuführendes Verfahren. Die Vorteile sind außerdem darin zu sehen, dass die Expertinnen und Experten eine erste Orientierung bei der weitergehenden Evaluation geben und Qualitätsmaßstäbe setzen können. Nachteilig ist die schlechte Nachvollziehbarkeit und die fehlende Wiederholbarkeit der Methode. Zudem ist das Fachgebiet der Expertinnen und Experten zu berücksichtigen. Jemand mit einer Expertise im Feld der Barrierefreiheit muss noch kein Experte für Lernmanagementsysteme sein und umgekehrt.

Zusammenfassung

Jedes Evaluationsverfahren hat seine Vor- und Nachteile, die es gegeneinander abzuwägen gilt. Neben den wissenschaftlichen Gütekriterien sind auch Zeit- und Kostenaufwand bei der Entscheidung für ein bestimmtes Evaluationsverfahren zu berücksichtigen. Aus diesen Gründen haben wir uns für den Einsatz eines Kriterienkatalogs entschieden. Dieses Verfahren bietet unserer Meinung nach einen angemessenen Kompromiss zwischen Aufwand und Nutzen; zudem kann für die Konstruktion von Evaluationsitemss auf entsprechende Prüflisten für barrierefreie Webinhalte zurückgegriffen werden.
Dennoch kann das im folgenden skizzierte Evaluationsverfahren für Lernmanagementsysteme mit dem Fokus auf die Barrierefreiheit keinesfalls vollständig sein. Unter dem Aspekt der Barrierefreiheit bleiben die Kriterien auf rein technische Gesichtspunkte beschränkt; die wünschenswerte Integration auch pädagogischer und weiterer Evaluationskriterien muss aus Zeitgründen ausgeklammert werden.