Vom (Un-)Sinn der Feedbackbögen - Warum sie nicht messen, was sie messen sollen
Das Ende des Seminars ist die Zeit der Feedbackbögen. Für die TeilnehmerInnen inzwischen eine lästige Pflicht. Und wenn die gesammelten Ergebnisse auf den Tischen der PersonalentwicklerInnen landen hält sich die Beschäftigung damit meist in Grenzen. Kurz durchblättern. Viele lächelnde Smileys. Zur Seite legen. Vielen HRD Professionals sind die Feedbackbögen schon länger ein Dorn im Auge. Ihre Erfahrung zeigt, dass sie nur geringe Aussagekraft. Und das bestätigt nun auch die Transferforschung und zeigt darüber hinaus, dass Feedbackbögen den Transfererfolg sogar negativ beeinflussen können…
In diesem Artikel lesen Sie:
Welche Feedbackbögen nichts über die Wirksamkeit unserer Trainings aussagen
Warum Feedbackbögen den Transfererfolg sogar negativ beeinflussen können
Wie Sie durch Ihre Feedbackbögen an die falschen TrainerInnen geraten können und
Wie sie ihre Feedbackbögen schnell und einfach optimieren können
Zufriedene TeilnehmerInnen = Wirksames Training?
Diese Gleichung geht nicht auf
„What gets measured, gets done“. Dieser Ausspruch stammt von den Transferforscherinnen Lisa Burke und Holly Hutchins [1]. Er gilt aber ganz universell in Unternehmen. Das was wichtig und bedeutungsvoll ist, ist steuerungsrelevant. Es wird diskutiert, gemessen und optimiert. Logisch! Wie sonst könnte das Unternehmen wissen, ob es am richtigen Weg ist bzw. wie nah oder fern es seinen Zielen ist? Wir messen Umsätze, um den Verkaufserfolg zu bestimmen und treffen Maßnahmen, wenn die Umsatzzahlen nicht stimmen. Wir messen die Anzahl unpünktlich gelieferter Ware um die Liefertreue zu bestimmen und treffen Maßnahmen, wenn Kunden zu häufig auf ihre Produkte warten müssen und die Beschwerden nach oben gehen. Die gleiche Logik gilt natürlich auch in der Personalentwicklung. Transfer ist das erklärte Ziel. Also messen wir den Transfer um den Erfolg ihrer Trainings zu bestimmen und nutzen diese Daten, um die Transferwirksamkeit weiter zu fördern. Das tun wir doch, oder? Oder tun wir das eigentlich nicht? Was messen wir, um den Erfolg unserer Trainings zu bestimmen?
Eine Studie der American Society for Training & Development (ASTD Research) zeigt, dass 92% der Unternehmen Feedbackbögen zur Evaluierung Ihrer Trainings nutzen [2]. Diese standardisierten Bögen werden zumeist am Ende des Trainings ausgegeben und von den TeilnehmerInnen ausgefüllt. Solche Feedbackbögen werden in der Transferforschung liebevoll-provokant „Happy Sheets“ genannt weil sie häufig eine Skala mit unterschiedlich grinsenden Smileys enthalten. Warum dieser provokante Name? Weil sie meist nichts anderes messen, als die Zufriedenheit der TeilnehmerInnen. Typische Fragen sind „Wie gut hat Ihnen das Training gefallen?“ oder „Wie zufrieden waren Sie mit dem Training, den Seminarunterlagen, dem Seminarhotel, dem Trainer/der Trainerin, usw“. Diese „Happy Sheets“ messen demnach die Zufriedenheit der TeilnehmerInnen. Und diese Daten sind zumeist das einzige Kriterium, an dem wir festmachen, ob das Training erfolgreich war oder nicht. Das ist in etwa so, als würden wir den Verkaufserfolg im Unternehmen messen, indem wir die VerkaufsmitarbeiterInnen fragen, wie zufrieden Sie mit Ihren KundInnen waren. Irgendwie absurd, oder?
Von der Zufriedenheit der Teilnehmer auf den Transfererfolg zu schließen ist als würden wir den Verkaufserfolg im Unternehmen anhand der Zufriedenheit der Vertriebsmannschaft messen.
Wir steuern im Blindflug
Ein falscher Rückschluss und seine Folgen
Nun könnte man einwerfen, dass das im Trainingsbereich ja ganz anders ist. Immerhin wird ja viel mehr des Gelernten angewandt, wenn die TeilnehmerInnen mit dem Training zufrieden waren! Von dieser Annahme wurde auch in der Transferforschung lange ausgegangen. Das Bekannteste und am weitesten verbreitete Evaluierungsmodell wurde von Don Kirkpatrick in den 60er Jahren entwickelt.
Das Evaluierungsmodell von Kirkpatrick beschreibt 4 Evaluierungsebenen. Die unterste Evaluierungsebene ist die Reaktion. Hier wird erhoben, wie zufrieden die TeilnehmerInnen mit dem Training waren. Auf diese Ebene folgt die Lernebene auf der der Zuwachs an Wissen festgestellt wird. Auf der dritten Ebene wird das Verhalten am Arbeitsplatz evaluiert. Erst wenn eine Verhaltensänderung oder eine Verbreiterung des Verhaltensspektrums statt gefunden hat, kann von Transfer gesprochen werden. Schließlich wird auf der Ergebnisebene betrachtet, inwieweit die Verhaltensänderung zu positiven Veränderungen für die Organisation geführt hat.
Lange ging man davon aus, dass die Ebenen aufeinander aufbauen. Wir dachten also, je positiver die Reaktion, desto mehr Wissen wurde erworben. Je mehr Wissen, desto höher der Transfererfolg. Und je höher der Transfererfolg, desto positiver die Ergebnisse, die durch das Training für die Organisation erzielt werden konnten. Demnach wäre die Evaluierung der Zufriedenheit der TeilnehmerInnen zwar keine direkte Messung des Transfererfolgs, aber dennoch aussagekräftig, weil ja die Ebenen aufeinander aufbauen. Weit gefehlt, wie sich später zeigte. Eine Gruppe von TransferforscherInnen überprüften das Evaluierungsmodell von Kirkpatrick metaanalytisch und untersuchten damit, ob zufriedene TeilnehmerInnen tatsächlich mehr anwenden [3]. Das Ergebnis: Nein! Zufriedenheit sagt nichts über den Transfererfolg aus. Diese Erkenntnis zeigt ganz klar: Wenn wir die Zufriedenheit messen, dann wissen wir nur, wie zufrieden die TeilnehmerInnen mit dem Training waren. Das kann eine durchaus interessante Information sein. Aber sie lässt keine Rückschlüsse darauf zu, wie hoch der Transfererfolg ist bzw. sein wird. Wie auch? Das wissen die TeilnehmerInnen zu diesem Zeitpunkt meist selbst noch nicht. Wenn wir also unser Ziel – den Transfererfolg unserer Trainings – messen wollen, dann sind Happy Sheets das falsche Instrument. Sie messen nicht das, was wir eigentlich messen wollten! Und wenn wir diese Reaktionsmessungen als Kritierium für die Steuerung der Trainings hernehmen, dann steuern wir im Blindflug.
Wenn die Ergebnisse aus den Happy Sheets das einzige Steuerungsinstrument für die Wirksamkeit ihrer Trainings ist, dann steuern sie im Blindflug
"Wir wollen Sie glücklich machen"
Warum Happy Sheets dem Transfererfolg schaden können
Mit dem was wir evaluieren, zeigen wir, was im Unternehmen wichtig und anstrebenswert ist. Beispielsweise messen und monitoren wir die Servicequalität und signalisieren damit „Die Servicequalität ist uns wichtig - die gilt es zu steigern. Was aber signalisieren wir, wenn wir mit unseren Feedbackbögen die Zufriedenheit der TeilnehmerInnen messen? Wir signalisieren: „Das Ziel unserer Trainings ist, dass du zufrieden damit bist“ oder noch pointierter: „Mit unseren Trainings wollen wir dich glücklich und zufrieden machen!“ Aber ist das wirklich das Signal das wir senden wollen? Sind zufriedene TeilnehmerInnen wirklich das primäre Ziel einer schlagkräftigen Personalentwicklung? Wollen wir nicht viel mehr, dass sich die Teilnehmenden mit Hilfe der Trainings weiterentwickeln, das Gelernte erfolgreich nutzen und so das Unternehmen voranbringen? Erst wenn das unser primäres Ziel ist, wird die Personalentwicklung von der „Wohlfahrtsabteilung“ zum entscheidenden und respektierten Businesspartner für das Unternehmen. Verstehen sie mich nicht falsch - es ist nichts verkehrt daran, dass die Teilnehmer mit den Trainings zufrieden sind - genau so wie nichts daran verkehrt ist, dass ihre VertriebsmitarbeiterInnen zufrieden sind. Aber Zufriedenheit ist nicht alleinige, das primäre Ziel einer wirksamen Personalentwicklung, auf dessen Basis Entscheidungen getroffen werden - etwa darüber ob ein Training weiter durchgeführt wird. Mit dem was wir evaluieren, signalisieren wir, was im Unternehmen wichtig ist - und bei einer schlagkräftigen Personalentwicklung ist das die Wirksamkeit des Trainings - also sollten wir auch die evaluieren.
Mit der Happy-Sheet-Evaluierung signalisieren wir den Teilnehmenden: Das Ziel unserer Trainings ist, dich glücklich zu machen!
"Machen Sie sie glücklich"
Warum mit Happy Sheets die falschen TrainerInnen zu ihnen kommen
Mit der Zufriedenheitsevaluierung senden wir auch ein eindeutiges Ziel-Signal an die TrainerInnen. Denn immerhin ist der Evaluierungsbogen die (häufig einzige) Rückmeldung, die die Personalentwicklung über die Leistung der TrainerInnen bekommt. Die Zufriedenheit der Teilnehmenden entscheidet also auch darüber, ob TrainerInnen „gute“ Arbeit geleistet haben und weitere Aufträge bekommen. Zwar sprechen wir in der Auftragsklärung über Bedarf, Inhalte, Ziele und Wirksamkeit - aber erfolgskritisch ist dennoch die Zufriedenheit. Aber sollte „Teilnehmende zufrieden stellen“ wirklich die oberste Prämisse für TrainerInnen sein? Es sind außergewöhnliche und engagierte TrainerInnen, die sich entgegen dem Mott „Mach sie zufrieden“ trauen, Übungen durchzuführen, welche die Teilnehmenden aus ihrer Komfortzone holen, die konstruktiv-kritisches Feedback geben, das tatsächlich Entwicklung anregt, und die Wiederstände und Konflikte proaktiv ansprechen, statt sie zugunsten von Harmonie und Zufriedenheit im Trainingsraum unter den Tisch zu kehren. All diese Dinge. die für nachhaltig wirksame Entwicklung so wertvoll sind, bergen die Gefahr, nicht optimale Zufriedenheitswerte zu erhalten und damit Aufträge nicht (mehr) zu bekommen. Da ist es nur verständlich, den sicheren Weg zu gehen, und angenehme, wenig fordernde Inhalte und Übungen zu machen, am Ende des Trainings noch eine „Wohlfühlübung“ anzuhängen und in der verbalen Feedbackrunde mit möglichst wohlgesinnten Teilnehmenden zu beginnen, die die Gruppenmeinung prägen. SO kann sich ein Trainer ein positives Evaluierungsergebnis sichern und damti seinen Folgeauftrag. Wenn TrainerInnen sich über Methoden und Übungen austauschen, ist es folgich nur zu verständlich, dass Beschreibungen wie „Diese Übung gefällt den Teilnehmenden total gut“ viel häufiger zu hören sind als „Diese Übung ist total wirksam!“ Wie sollte es auch anders sein - was im Business zählt und evaluiert wird, ist ja nicht die Wirksamkeit, sondern die Zufriedenheit.
Was denken Sie würde passieren, wenn plötzlich nicht mehr die Zufriedenheit, sondern die Nützlichkeit bzw. der Transfererfolg das selektive Kritierium wäre? Ich bin selbst immer wieder überrascht, wie sehr sich Trainingskonzepte, Fokus und Wirksamkeit der Trainings verändern, wenn sich Unternehmen entscheiden, ihre Evaluierungsroutine zu verändern bzw. zu erweitern. Eine kleine Intervention mit großer Wirkung - für alle Beteiligten.
Trainingsdesigns, Fokus und Wirksamkeit der Trainings verändern sich enorm, wenn wir TrainerInnen nicht nur danach bewerten, wie zufrieden sie die TeilnehmerInnen gemacht haben.
Happy Sheets ersatzlos streichen?
Feedbackbögen schnell und einfach verbessern
Sollten wir also gänzlich auf die Evaluierung am Ende des Trainings verzichten? Können wir am Ende des Trainings etwa noch gar keine Rückschlüsse auf die Qualität des Trainings ziehen? Doch! Erste Hinweise auf die künftigen Transfererfolge lassen sich bereits am Ende des Trainings erheben. Worauf es ankommt, ist die Fragestellung. Die TransferforscherInnen konnten zeigen, dass unterschiedliche Arten der Reaktion unterschiedlich stark mit dem Transfererfolg korrelieren. Die eine Reaktion ist die Zufriedenheitsreaktion (z.B. „Wie zufrieden waren Sie mit dem Training“). Sie weist keine signifikante Korrelation mit dem künftigen Transfererfolg auf. Die zweite Art der Reaktion ist die Nützlichkeitsreaktion. Eine entsprechende allgemein gehaltene Frage im Evaluierungsbogen wäre „Wie nützlich war das Training für Ihren beruflichen Alltag?“. Spezifischer formuliert könnte eine Frage lauten: „Wie nützlich war das Modell X/ die Übung Y für Ihre Praxis?“ Die Nützlichkeitsreaktion weist eine Korrelation zum Transfererfolg auf, wenn gleich der Korrelationskoeffizient noch immer nicht besonders hoch ist [4]. Warum? Weil wir Menschen das, was uns sinnvoll und nützlich erscheint, auch viel eher praktisch nutzen. Wenn wir also am Ende des Trainings Fragen zur Nützlichkeit stellen, haben wir zumindest einen ersten Hinweis in Richtung künftigem Transfererfolg.
Beispiele für nützlichkeitsorientierte Fragen im Feedbackbogen
Sie sehen: Auch aus den Feedbackbögen am Ende des Trainings lassen sich mit passenden Formulierungen viele wertvolle Informationen hinsichtlich (voraussichtlicher)Transferwirksamkeit gewinnen und zudem die richtigen Signale hinsichtlich Transferwirksamkeit senden. Wenn Sie tiefer vordringen möchten und erfahren wollen, wie Sie bereits am Ende des Trainings richtungsweisende Informationen auf allen vier Ebenenerhalten – Reaktion, Wissen, Verhalten und Ergebnisse –, darf ich Sie auf die hybriden Evaluierungsbögen von Kirkpatrick verweisen [5] den man ohne Übertreibung als Großmeister der Trainings- und Transferevaluierung bezeichnen könnte. Es lohnt sich!
Eine Weiterentwicklung der Evaluierungsbögen von der Zufriedenheit in Richtung Nützlichkeit kann ein schneller und einfacher erster Schritt sein. Gemäß dem Motto „What gets measured, gets done“ sollten wir jedoch langfristig anstreben, den Transfererfolg direkt zu messen. Der Transfererfolg ist die wichtige, bedeutungsvolle und damit steuerungsrelevante Kenngröße. Nur wenn wir die direkten Daten über den Transfererfolg kennen, können wir feststellen, ob wir am richtigen Weg sind und wie gut wir unser Ziel – den Transfererfolg – bereits erreichen. Aber wie wir wissen beginnt jede Reise mit dem ersten Schritt der getan wird.
Was also können Sie heute noch tun, um ihre Evaluierungsbögen noch transferorientierter zu gestalten?
Zum Nach- & Weiterlesen
[1] Burke, L. A., & Hutchins, H. M. 2008. A study of best practices in training transfer and proposed model of transfer.Human Resource Development Quarterly, 19(2): S. 107 – 128. S. 118.
[2] ASTD Research. 2009. The Value of Evaluation: ASTD Press. – erhältlich im Webshop der ATD -www.td.org/Store (8.12.2016).
[3] Zur Korrelation zwischen den Ebenen im Kirkpatrick-Modell siehe Alliger, G. M., & Janak, E. A.1989. Kirkpatrick‘s Levels of Training Criteria. Thirty years later. Personnel psychology, 42(2): S. 331 – 342,sowie einige Jahre später erneut in der Metaanalyse von Alliger, G. M., Tannenbaum, S. I., Bennett Jr, W.,Traver, H., & Shotland, A. 1997. A meta-analysis of the relations among training criteria. Personnel psychology,50(2): S. 341 – 358.
[4] Der ermittelte Korrelationskoeffizient zwischen Nützlichkeitsreaktion und Transfer (also Verhalten am Arbeitsplatz) lag in der Metanalyse von 1997 bei 0,18.
[5] Muster, Fragen und Items für hybride Evaluierungsbögen (Kirkpatrick (R) Hybrid Evaluation Tool Templates) erhalten TeilnehmerInnen der Kirkpatrick Bronze Certification. Mehr Informationen finden Sie unter www.kirkpatrickpartners.com (8.12.2016). Informationen zur Kirkparick Bronze Zertifizierung für Österreich, Deutschland und die Schweiz finden Sie unter https://www.mdi-training.com/de/offenes-training/kirkpatrick-trainingsevaluation/ (17.6.2017).