chevron-down chevron-left chevron-right chevron-up home circle comment double-caret-left double-caret-right like like2 twitter epale-arrow-up text-bubble cloud stop caret-down caret-up caret-left caret-right file-text

EPALE

E-Plattform für Erwachsenenbildung in Europa

 
 

Blog

Entwicklung, die auf Beweisen basiert

23/11/2017
von Beata Jurkowicz
Sprache: DE
Document available also in: PL FR

von Rafał Żak

Originalsprache: Polnisch

 

Die Praktiker des Personalentwicklungsmarktes suchen jeden Tag nach einer richtigen Antwort auf zwei Fragen: welche Konzepte soll ich den Teilnehmer/innen präsentieren und welche Methoden soll ich bei den Entwicklungsaktivitäten verwenden. Die Hinweise gibt uns das Konzept Evidence Based Training (EBT).

EBT bedeutet Schulungsmaßnahmen nach Methoden und Konzepten, die auf Beweisen basieren. Trainer, Coachs, Mentoren bleiben dabei, was geprüft und/oder getestet wurde. EBT ist eine Antwort auf die Arbeit der Menschen für die Entwicklung, sie glauben fest an diese Methode und dies ist der Grund, damit die Empfänger sie kennen lernen.

Was bedeutet also, dass man auf Beweisen basiert? Die Beweise, an denen wir uns orientieren sollen, stammen aus zwei Quellen. Die erste Quelle sind die Beweise, die von den Praktikern eines gegebenen Entwicklungsbereiches gesammelt werden. Die zweite Quelle sind dagegen die Beweise, die aus der Welt der Wissenschaft kommen. Auf beiden Seiten bilden die Beweise eine gewisse Reihenfolge, von denen, die weniger bedeuten bis zu denen, die „stärker“ sind.

Wie sieht also die Reihenfolge der Beweise aus? Wir beginnen mit den Beweisen der Praktiker.

  • Der schwächste Beweis in diesem Bereich ist die Fallstudie. Der Trainer bedient sich während der Schulung zum ersten Mal eines von ihm selbst erfundenen Trainers und er sieht, dass dieser Trainer Ziele erreicht und bestimmte Fähigkeiten der Teilnehmer/innen tatsächlich entwickelt. Auf den ersten Blick sieht man, dass solcher Beweis nicht genug stark ist. Im Grunde genommen registriert die Beobachtung: „Ich rauche seit 70 Jahren und ich war nie an Lungen krank. Rauchen schadet also nicht der Gesundheit“ eine einzelne Fallstudie.
  • Höher haben wir mit einer systematischen Beobachtung zu tun, d.h. mit einer Reihe von Fallstudien. Der Trainer führt einen konkreten sachlichen Teil der Schulung in ähnlicher Weise durch und beobachtet positive Ergebnisse. Er macht das in verschiedenen Gruppen, an verschiedenen Tagen und seine Beobachtungen sind ähnlich. Wie wir sehen, ist dieser Beweis wichtiger, die Reihenfolge der geführten Beobachtungen bietet uns die Möglichkeit, dass die Schlussfolgerungen richtig sein werden.
  • Am höchsten haben wir mit den Schlussfolgerungen aus Bewertungsprozessen der durchgeführten Projekte zu tun. Der Trainer führt sein Projekt durch, bei welchem er konkrete Methoden und Übungen verwendet und später prüft er Projekte mit Bewertungsinstrumenten, ob Änderungen im Bereich der Kenntnisse und Fähigkeiten der Teilnehmer/innen eingetreten sind und ob die Organisation von diesen Änderungen profitiert. Der Trainer erlangt somit die bestmöglichen Beweise dafür, ob das was er macht, wirksam ist. Indirekt erlangt er Beweise für die Effizienz einzelner Schulungsstrukturen.

Auf der Seite der wissenschaftlichen Beweise sieht die Reihenfolge folgendermaßen aus:

  • Es wird mit Beweisen begonnen, die man oft „prior probability” nennt, d.h. indirekte Beweise. Wie funktioniert das? Ich verfüge zwar nicht über die Studien, die gezeigt haben, dass meine Idee als Trainer richtig ist, aber ich bin in Besitz von Studien, dass sich diese Idee in ähnlichen Anwendungsbereichen bewährt hat. Niemand hat genau solche Anwendung des Konzepts getestet, aber ein ähnliches Konzept wurde getestet. Niemand hat genau diese Theorie getestet, aber alle ihre Komponente wurden getestet.
  • Höher haben wir mit Beweisen in Form von Ergebnissen der experimentellen und korrelativen Studien zu tun. Jemand hat diese Studien durchgeführt, die Schlussfolgerungen veröffentlicht und dem Milieu zur Bewertung vorgelegt. Einzelne Studien sind allerdings keine zuverlässige Quelle, deshalb soll man nach solchen Quellen suchen, die repliziert waren (das bedeutet, dass eine andere Gruppe von Gelehrten das Verfahren wiederholte und ähnliche Ergebnisse erzielte).
  • Am höchsten haben wir mit Metaanalysen zu tun, d.h. mit systematischen Bewertungen von Studien im gegebenen Anwendungsbereich. Es werden sämtliche Studien zum gegebenen Thema bewertet und es wird festgestellt, wie weit in ihnen das getestete Resultat erscheint. Nach der Analyse des ganzen Beweismaterials erhält man eine klare Antwort wie viel Sinn das gegebene Konzept hat. Wenn die Metaanalyse richtig durchgeführt wird, kann man sie unbeschränkt verwenden und dessen sicher sein, dass in diesem Bereich keine Studien veröffentlicht wurden.

Diese Beschreibung ist selbstverständlich keine Antwort auf alle Fragen, welche im Bereich der auf Beweisen basierten Schulungskonzepte auftauchen. Wenn es um wissenschaftliche Studien geht, sind manche besser und manche schlechter. Bessere Studien werden nach dem Zufallsprinzip in einer zahlreichen Kontrollgruppe durchgeführt und später in Fachzeitschriften veröffentlicht. Schlechtere Studien dagegen – d.h. Beschreibungen der Fallstudien, die in kleinen Gruppen durchgeführt werden, werden in den Zeitschriften veröffentlicht, die man manchmal „eroberungssüchtige“ Zeitschriften nennt.

 

Welche Schlussfolgerungen können für den Alltag des Trainers, der Entwicklungsaktivitäten durchführt, aus diesem Konzept gezogen werden?

  1. Jeder Trainer kann Schulungen in Anlehnung an eigene Erfahrungen und Beobachtungen durchführen. Häufig stellt es sich heraus, dass es seine einzige Überzeugung von der Effizienz der gegebenen Methode ist. Die meisten Trainer führen eine Startrunde am Anfang der Schulung durch (die Teilnehmer/innen haben die Möglichkeit, sich vorzustellen). Wissenschaftliche Studien, die zeigen, dass es ein guter Ansatz ist, gibt es nicht. Das beweisen lediglich eigene Beobachtungen der Trainer, die Schulungen durchführen.
  2. Jeder Trainer ist berechtigt, einen bestimmten Inhalt auf die eigene Art darzustellen, und später zu testen, ob seine Übung richtig „funktioniert“. Er ist nicht verpflichtet, die Effizienz seiner Übung auf Grund strenger Prüfungen zu testen.
  3. Der Trainer soll einerseits nach einem Konzept suchen, das wissenschaftlich bestätigt wurde (zum Beispiel die Theorie der Selbstbestimmung, die Motivation betrifft), andererseits soll er die Lehrmethoden richtig wählen (er soll zum Beispiel wissen, dass das Brainstorming in der Regel keine effiziente Methode ist).
  4. Jeder Trainer wird mit der Situation konfrontiert, wenn wissenschaftliche Erkenntnisse seine Intuition leugnen. Er soll jedoch wissenschaftliche Erkenntnisse wählen und darauf basieren.

Die Methoden, die auf Beweisen basieren, haben Sinn aus zwei Aspekten: aus ethischem und geschäftlichem Aspekt. Aus ethischem Aspekt, weil wir verpflichtet sind, den Kunden bewährte, effiziente Lösungen anzubieten. Aus geschäftlichem Aspekt, weil EBT eine Chance für wirksame Unterstützung ist, für welche die Kunden zahlen möchten.

 

Rafał ŻakTrainer / Coach / Autor / Sprecher. Autor der Bücher „Persönliche Entwicklung. Bedienungsanleitung” und „Denkt nicht, dass die NLP verschwinden wird“. Botschafter von EPALE.

 

Share on Facebook Share on Twitter Epale SoundCloud Share on LinkedIn
Refresh comments Enable auto refresh

1 - 7 von 7 anzeigen
  • Bild des Benutzers Beata Ciężka

    Koncepcje Evidence Based... święcą obecnie triumfy w ewaluacji. Cała polityka ewaluacji funduszy strukturalnych (w tym odziaływania projektów "miękkich", społecznych) oparta jest obecnie o metodologię "opartą na dowodach", co ma swoje konsekwencje w rekomendowaniu przede wszystkim metodologii badań ilościowych oraz analiz ekonomicznych i ekonometrycznych. Trochę mnie martwi zgubienie w tym spojrzenia na indywidualne doświadczenia beneficjentów, które gubią się podczas analiz statystycznych...   

  • Bild des Benutzers Rafał Żak

    Myślę, że nie muszą się gubić indywidualne doświadczenia. Choć akurat w kwestii ewaluacji jestem zdania, że to się musi kończyć cyferką. Bertrand Russel pisał, że jeśli tylko się da sprowadź problem co liczb, bo wtedy będziesz w stanie obiektywnie na ten problem spojrzeć. Nawet w badaniach społecznych istnieją metody mniej ekonomiczne - sędziów kompetentnych (korzystałem z niej często w projektach unijnych). W badaniach przecież korzysta się z metod jakościowych - jak wywiady, analiza biografii. Jasne, że nie wszystkie niuanse wtedy wyjdą na jaw. Ale coś za coś, sądzę, że potrzebujemy maksymalnie obiektywnych metod, które umożliwiają ocenę efektywności projektów i mogą na przykład służyć porównywaniu ich ze soba. 

  • Bild des Benutzers Monika Gromadzka

    Dodam tylko, że nie należy bać się badań naukowych! Ułatwiają nam one zrozumienie jaki jest świat (ok. jego wycinek) albo dlaczego taki jest.  Czasami obalają starsze teorie i koncepcje i nie ma w tym nic złego. Świat nauki jest bardzo dynamiczny! Ktoś może powiedzieć: taaaa, jasne! Ale tak jest, naprawdę. Jeszcze do niedawna bardzo często wspominany był eksperyment o ciasteczkach i rzodkiewkach ( badania z zakresu wspomnianej w tekście siły woli- a raczej jednego aspektu: wyczerpywania się jej). Ha! Sama o tym mówiłam na swoich szkoleniach! Ostatnie metaanalizy ukazują jednak, że przy siłowym modelu samokontroli trzeba postawić duży znak zapytania. Na razie nie do końca wiadomo czy mamy z nim do czynienia, czy nie. Na pewno fundamenty tego bardzo znanego poglądu o wyczerpywaniu się ego zostały mooocnnoo naruszone. Rodzi się więc pytanie:  mówić o tych dowodach czy nie? Moim zdaniem mówić i to jak najczęściej. Nie ma nic złego, że zakres naszej wiedzy się poszerza (przecież kiedyś myśleli, że Ziemia jest płaska, tak?) i niektóre teorie ewaluują. Najgorsze sytuacje to te, kiedy trener/coach/ konsultant itd. mówi: badania podają…Wiedziąc, że takich badań nie ma i nie było (myślę, że czasem zdarzało się nam wszystkim trafić na takiego szkoleniowego fake newsa). Bardzo bym chciała, żeby niektórzy trenerzy i edukatorzy częściej zaglądali do podręczników, czasopism naukowych i sprawdzonych źródeł internetowych (bez obrazy dla Wikipedii- ale to nie ten adres…).

    Bardzo się cieszę Rafale, że napisałeś ten tekst (i książki) podnosząc tak ważny dla edukacji temat. Uczmy ludzi przekazując jak najaktualniejsze, ale i sprawdzone informacje. Wyróbmy w sobie nawyk dociekania i poszukiwania nowych teorii, sprawdzajmy stan wiedzy na temat tego, co już jest w naszym repertuarze szkoleniowym. Miejmy z tyłu głowy, że uczymy innych i od nas zależy czy podamy wiedzę, czy nic nie znaczącą błędną informację. Dzięki za naprawdę dobry tekst!

  • Bild des Benutzers Rafał Żak

    Dziękuję za miłe słowa. Fajnie, że opisałaś deplację ego, bo to dobry przykład. Nawet Kahneman w Pułapkach myślenia odwołuje się to badań Baumaistera, dopiero później okazało się, że budzą one duże wątpliwości. Ale na tym właśnie polega naukowe podejście - mamy nowe dane to zmieniamy zdanie. I nikt się na nikogo nie obraża ;-)

  • Bild des Benutzers Justyna Bednarz

    Proszę dyskutować, przewidziane są i dłuższe wypowiedzi, zachęcamy do zabrania głosu i własnych publikacji.

     

    Justyna

  • Bild des Benutzers Hubert Krata

    Za krótko za mało cieżko podyskutować :) czy tu przewidziane sa tylko tak krótkie teksty?

  • Bild des Benutzers Rafał Żak

    Napisz proszę czego brakuje, żeby tekst był pełniejszy. Chętnie podyskutuję o zaletach i ograniczeniach EBT, mogę też szerzej rozpisać się na interesujące cię tematy.