Formative Evaluation

Formative Evaluationen konzentrieren sich darauf festzustellen, welche Aspekte des Designs gut oder nicht gut funktionieren und warum.^[1] Diese Bewertungen finden während der gesamten Neugestaltung statt und liefern Informationen zur schrittweisen Verbesserung der Benutzeroberfläche.^[1] Auf diese Weise können schon früh konkrete Verbesserungsmöglichkeiten aufgezeigt werden, das Produkt kann somit durch die Tests und das iterative Vorgehen aus Sicht der Gebrauchstauglichkeit stetig verbessert werden.^[2][3][4] Typisch für formative Evaluationen ist das mehrmalige Testen und Ändern des Produkts.^[1] Die Vorteile der formativen Evaluation sind eindeutig ihre hohe Effektivität und Effizienz.^[2] Durch das frühe Ansetzten im Entwicklungsprozess können potentielle Probleme früh erkannt und somit ausgebessert werden.^[2]

Die formative Evaluation kann formal (direkt) oder informal (indirekt) angewendet werden, d. h. als beschreibende, lernrelevante Rückmeldung im Gespräch zwischen Lehrkraft und Schülern oder auch als Eigenbeobachtung. Bei der formativen Rückmeldung sollten drei Aspekte (Fragen) im Vordergrund stehen:^[5]

1. Was ist das Lernziel? Was ist die ursprüngliche Intention? Was wollte man lernen?
2. Wo befindet man sich in seinem Lernprozess? Was wurde bereits erreicht? Was kann man schon?
3. Was brauchst man noch, damit das Ziel erreicht wird? Unterstützungen (Material, Methoden, personelle Ressource)

Eine Art zur Überprüfung eines Produkts ist der Cognitive Walkthrough (zu deutsch: kognitiver Durchgang, Durchdenken eines Problems,).^[6][7] Ein Teammitglied durchläuft stellvertretend für die Benutzer einen Prototyp des Produkts. Dadurch sollen Probleme identifiziert werden, die die Lernfähigkeit und damit verbundene Fragen beeinträchtigen.^[8] Im Gegensatz zu heuristischen Evaluationen (siehe unten), fokussiert sich der Cognitive Walkthrough auf eine einzelne Dimension: die Erlernbarkeit.^[2] Maßgeblich werden drei Problembereiche erfasst:

1. Punkte, an denen die Konzepte der Nutzer und Entwicklern über die Aufgaben nicht übereinstimmen,
2. ungünstige Benennungen der Bedienelemente sowie
3. inadäquates Feedback des Systems.^[9]

Bei der heuristischen Evaluation handelt es sich um eine Methode, bei der ein Produkt durch Experten überprüft wird, typischerweise sind dies Usability-Experten.^[2][8] Eine Gruppe von Evaluierenden bedient sich an einem Satz von Heuristiken bzw. Kriterien. Zum Beispiel können die Nielsen-Heuristiken^[10] oder die Grundsätze der Dialoggestaltung nach ISO 9241-110^[11] herangezogen werden. Das System explorierend, versuchen sie Verstöße gegen die Forderungen in den Heuristiken aufzudecken. Indem die allgemeine Usability-Expertise mit dem Wissen über die Anwendungsdomäne und Zielgruppe verbunden wird, bemühen sich die Evaluierenden, die Sichtweise eines Nutzers aus der Zielgruppe einzunehmen. Die Usability-Experten sind quasi Stellvertreter der späteren Nutzenden.^[2][12]

Die von Nielsen^[10] entwickelten Heuristiken sind ein Satz an Richtlinien oder Faustregeln für die Benutzerfreundlichkeit. Obwohl diese Heuristiken ursprünglich für die Inspektion von Software entwickelt wurden, sind sie für jede Art von Produkt weit verbreitet.^[8] Das Ziel einer heuristischen Evaluation ist es, möglichst vollständig alle Usability-Probleme in einer Schnittstelle aufzudecken und so zu kategorisieren, dass die unterschiedlichen Aussagen der Evaluierenden möglichst eindeutig einem zugrundeliegenden Problem zugeordnet werden können.^[13]

Informelle heuristische Evaluationen, sind eine Variation, die mit nichts anderem als dem Wissen aus Erfahrung durchgeführt werden. Die Bewertung kann durch ein Memo oder ein Meeting erfolgen und von einem einzelnen Teilnehmer vorgenommen werden.^[8]

An der Fakultät für Psychologie der Universität Wien wurde Twitter verwendet, um Lehrveranstaltungen formativ zu evaluieren.^[14][15]

Eine Form der formativen Evaluation ist die Lernverlaufsdiagnostik, bei der die Lehrkraft den Lernfortschritt der Schülerinnen und Schüler mit kurzen, meist standardisierten Tests dokumentiert und die Ergebnisse nutzt, um ihren eigenen Unterricht zu evaluieren, zu verändern und dem Schüler über die Entwicklung Rückmeldung zu geben.

Darüber hinaus bieten Lernportfolios die Möglichkeit Lernprozesse zu dokumentieren und reflektieren. Dabei sammeln Studierende ihre Arbeiten, Projekte und Reflexionen über einen bestimmten Zeitraum hinweg und präsentieren sie in einer strukturierten Sammlung. Lernportfolios bieten die Möglichkeit, individuelle Fortschritte zu verfolgen, Selbstreflexion anzuregen und die Entwicklung von fachlichen und überfachlichen Kompetenzen zu dokumentieren.

Die Durchführung formative Evaluationen erfordert eine Vielzahl von Werkzeugen und Ressourcen, die Forschern, Designern und Pädagogen dabei helfen, relevante Daten zu sammeln und wertvolle Einblicke zu gewinnen. Sowohl physische als auch digitale Instrumente sind in diesem Prozess von großer Bedeutung.

1. Fragebögen und Umfrageinstrumente
   • Erstellung von standardisierten Fragebögen zur Sammlung quantitativer Daten zu Benutzererfahrungen und Meinungen.
2. Interviewleitfäden:
   • Strukturierte Leitfäden für Interviews, die es Forschern ermöglichen, relevante Informationen von Probanden zu sammeln.
3. Prototypen und Wireframes:
   • Physische oder papierbasierte Prototypen, um Designkonzepte schnell zu visualisieren und Benutzertests durchzuführen.
4. Usability-Labore:
   • Speziell ausgestattete Räume für Benutzertests, die mit Aufzeichnungsgeräten, Kameras und Eye-Tracking-Technologie ausgestattet sind.

1. Usability-Testing-Software:
   • Plattformen wie UserTesting, UsabilityHub oder Lookback, die die Durchführung von Remote-Usability-Tests und das Sammeln von Echtzeitfeedback ermöglichen.
2. Online-Umfrageplattformen:
   • Dienste wie SurveyMonkey, Google Forms oder Typeform für die Erstellung und Verwaltung von Online-Umfragen zur Erfassung quantitativer Daten.
3. Eye-Tracking-Software:
   • Programme wie Tobii oder EyeQuant, die Eye-Tracking-Daten erfassen, um die visuelle Aufmerksamkeit der Benutzer zu analysieren.
4. Prototyping-Tools:
   • Digitale Prototyping-Plattformen wie Figma, Adobe XD oder Sketch, die es Designern ermöglichen, interaktive Prototypen zu erstellen und zu testen.
5. Analysesoftware für Benutzerverhalten:
   • Google Analytics oder Hotjar, um das Online-Verhalten von Benutzern zu verfolgen und zu analysieren.

1. Literatur und Fachzeitschriften:
   • Zugang zu aktuellen Forschungsergebnissen, Fachzeitschriften und Büchern im Bereich der formative Evaluation.
2. Schulungen und Workshops:
   • Angebote von Schulungen und Workshops für Forscher, Designer und Pädagogen, um ihre Fähigkeiten im Bereich der formative Evaluation zu verbessern.
3. Online-Communities:
   • Teilnahme an Online-Communities, Foren oder Diskussionsgruppen, um Erfahrungen und bewährte Methoden mit anderen Fachleuten zu teilen.^[16][17]

• Ex-Post-Evaluation
• Formatives Assessment
• Summative Evaluation
• Peer-Feedback

• Formative Evaluation als Brücke zwischen Lehren und Lernen - bei Educerio, Deutscher Bildungsserver, 29. Juli 2024, abgerufen am 30. Juli 2024.

1. ↑ ^{a b c} Joyce, A.: Formative vs. Summative Evaluations. Nielsen Norman Group, 2019, abgerufen am 5. Januar 2023. 
2. ↑ ^{a b c d e f} Sarodnick, F. & Brau, H. (2016). Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (3., unveränderte Auflage). Bern: Hogrefe.
3. ↑ Gediga, G., & Hamborg, K. C. Evaluation in der Software-Ergonomie: Methoden und Modelle im Software-Entwicklungsprozess. In Zeitschrift für Psychologie (210(1), S. 40–57).
4. ↑ Hix, D. & Harston, H. R. (1993). Developing user interfaces: ensuring usability through product & process. New York: John Wiley & Sons.
5. ↑ John Hattie: Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von "Visible learning". Hrsg.: Klaus Zierer. Schneider Verlag Hohengehren, Baltmannsweiler 2013, S. 215. 
6. ↑ Lewis, C., Polson, P. G., Wharton, C. & Rieman, J. (1992). Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces. In: J. C. Chew (Hrsg.), Empowering people. CHI '90 conference proceedings (Human factors in computing systems, Bd. 1990, S. 235–242). Reading, MA: Addison-Wesley. Zugriff am 5. Januar 2023. Verfügbar unter: doi:10.1145/97243.97279
7. ↑ Polson, P. G., Lewis, C., Rieman, J. & Wharton, C. (1992). Cognitive walkthroughs: a method for theory-based evaluation of user interfaces. International Journal of Man-Machine Studies, 36(5), S. 741–773. doi:10.1016/0020-7373(92)90039-N
8. ↑ ^{a b c d} Barnum, C. M. (2011). Usability testing essentials. Ready, set – test! Amsterdam, Boston: Morgan Kaufmann Publishers.
9. ↑ Wharton, C., Rieman, J., Lewis C. & Polson, P. (1994). The cognitive walkthrough method: A practitioner’s guide. Usability inspection methods, S. 105–140.
10. ↑ ^{a b} Nielsen, J. (1994). 10 Usability Heuristics for User Interface Design, Nielsen Norman Group. Zugriff am 5. Januar 2023. Verfügbar unter: [1]
11. ↑ DIN EN ISO, 9241 (2002-02-00). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten: Europäische Kommission für Normung.
12. ↑ Lavery, D., Cockton, G. & Atkinson, M. P. (1997). Comparison of evaluation methods using structured usability problem reports. Behaviour & Information Technology, 16(4-5), S. 246–266. doi:10.1080/014492997119824
13. ↑ Nielsen, J. (2010). Usability engineering [3.Nachdr.]. Amsterdam, Heidelberg: Kaufmann.
14. ↑ Christoph Burger, Stefan Stieger: Using Web 2.0 application Twitter for formative course evaluation: a case study. 1st Mobile phone conference, London (UK), 18. Februar 2009, archiviert vom Original am 3. Dezember 2009; abgerufen am 18. Februar 2009 (englisch). 
15. ↑ Christoph Burger, Stefan Stieger: Let's go formative: Continuous student ratings with Web 2.0 application Twitter. GOR09, 8. April 2009, abgerufen am 7. Januar 2009 (englisch). 
16. ↑ Michael Göhlich, Susanne Maria Weber, Andreas Schröer, Michael Schemmann: Organisation und Methode : Beiträge der Kommission Organisationspädagogik / herausgegeben von Michael Göhlich, Susanne Maria Weber, Andreas Schröer, Michael Schemmann. In: Aufsatzsammlung. Springer VS, Wiesbaden 2016, ISBN 978-3-658-13299-6. 
17. ↑ Uwe Flick: Qualitative Evaluationsforschung: Konzepte, Methoden, Umsetzung. Hrsg.: Rowohlt Taschenbuch. Rowohlt Verlag, Reinbek bei Hamburg 2006, ISBN 3-499-55674-X.