Osoby dokonujące ocen umiejętności i kompetencji mają do dyspozycji coraz więcej technik i narzędzi. Wybierając konkretne narzędzia warto zastanowić się nad ich trafnością i rzetelnością. Sprawa jest poważna, gdyż wyniki oceny umiejętności są często podstawą decyzji o zatrudnieniu, awansowaniu czy kierunku dalszego rozwoju. Warto zadbać o to, aby techniki i narzędzia wykorzystywane w tej diagnozie spełniały standardy obowiązujące w diagnozowaniu umiejętności, uzdolnień, zasobów, kompetencji.  Narzędzia niespełniające standardów trafności i rzetelności generują diagnozy, których wartość predykcyjna jest wysoce dyskusyjna.

Na początek warto przypomnieć podstawowe cechy narzędzi diagnostycznych, które w znacznym stopniu warunkują ich użyteczność. Są to trafność i rzetelność.

Trafność to stopień, w jakim dane empiryczne oraz teoria uzasadniają interpretację wyników testowych w zakładanym kierunku. [1] Oznacza, że narzędzie mierzy dokładnie to, co w założeniach autorów ma badać. Takie rozumienie trafności generuje pytanie, które osoba dokonująca oceny powinna sobie zadać już w momencie projektowania procesu diagnozy:

Czy metoda, technika, narzędzie, które chcę wykorzystać w ocenie jest dobrą miarą cechy, umiejętności, kompetencji, którą chcę zmierzyć lub rozpoznać?

Druga ważna cecha narzędzi diagnostycznych to rzetelność. Oznacza ona dokładność, powtarzalność pomiaru. Narzędzie jest rzetelne, jeśli użycie go ponownie w tych samych warunkach da te same wyniki.[2]

Czym jest trafność prognostyczna?

Interesującym wskaźnikiem użyteczności techniki lub narzędzia diagnostycznego jest trafność prognostyczna. Ogólnie rzecz ujmując określa ona stopień, w jakim wyniki oceny pozwalają na przewidywanie przyszłego poziomu wykonywania pracy. Można przyjąć, iż jest to informacja o wiarygodności metody czy narzędzia. Pozwala oszacować, na ile wyniki uzyskane za pomocą danej metody będę korespondować z tym, jak w danym obszarze potencjalny pracownik będzie zachowywał się w codziennych sytuacjach zawodowych.

W literaturze można znaleźć wyniki badań dotyczących trafności prognostycznej wybranych technik tradycyjnie stosowanych w ocenie pracownika. Jest ona określana na skali korelacji obejmującej wartości od 0 (przewidywanie trafne tylko przypadkowo) do 1,0 (przewidywanie w pełni trafne).[3] Dane zamieszczone poniższej ilustrują wyniki analizy trafności prognostycznej poszczególnych metod selekcji pracowników:

Rekomendacje centrów oceny - 0,68

Próbki pracy - 0,54

Testy zdolności poznawczych - 0,54

Wywiady ustrukturyzowane - 0,44

Testy uczciwości - 0,41

Wyniki uzyskane w centrach oceny - 0,41

Testy osobowości - 0,38

Dane biograficzne - 0,37

Wywiady nieustrukturyzowane - 0,33

Samoocena - 0,15

Referencje - 0,13

Astrologia - 0,0

Grafologia – 0,0[4]

Dane te inspirują do pytań o przyczyny popularności niektórych metod, szczególnie tych, których trafność prognostyczna nie jest imponująca. Krytycznie warto spojrzeć na referencje, samoocenę, informacje zamieszczane w CV i te pozyskane podczas rozmów kwalifikacyjnych. Pozyskiwane w ten sposób dane, być może są ciekawe i w jakimś stopniu przydatne, natomiast ryzykowne jest wnioskowanie na ich podstawie o rzeczywistych umiejętnościach czy kompetencjach. To, że kandydat twierdzi, że potrafi pracować w zespole, twórczo podchodzi do problemów i nie ma kłopotów z mediowaniem i negocjowaniem, może być wyrazem jego wysokiej samooceny i zadowolenia z siebie. Doświadczenie (życiowe i rekrutacyjne) uczy, iż często pomiędzy kompetencjami deklarowanymi a rzeczywistymi jest… przepaść.

Na czym polega efekt horoskopowy?

O ile nad trafnością prognostyczną warto się zastanawiać wybierając metodę lub narzędzie oceny, to na efekt horoskopowy warto uważać opracowując wyniki oceny i rekomendacje. Efekt horoskopowy nazywany jest także efektem Barnuma. Ta nazwa pochodzi od XIX wiecznego właściciela cyrku Barnum and Bailey’s Show Circus – Phineasa T. Barnuma, który twierdził, że dostarczenie każdemu tego, co go zainteresuje (a little something for everybody) zapewni sukces widowiska. W psychologii efekt ten polega na dostarczeniu opisu wyników badań jednostki, który wydaje się unikatowym, a w rzeczywistości pasuje do każdego ze względu na swoją trywialność, banalność i stereotypowość.[4]

W doradztwie zawodowym problem ten ujawnia się w przypadku testów i kwestionariuszy. W opisie wyników stosuje się często typologie i wskazuje cechy poszczególnych typów. Czasem rzeczywiście wygląda to jak horoskop… Osoby wypełniające takie narzędzie dowiadują się, jakie są, do czego się nadają, a nawet jaki zawód powinny wybrać. Jeżeli test jest w wersji elektronicznej, to wynik opracowywany jest na podstawie algorytmu. Kłopot polega na tym, iż jest on generowany dla adresata w formie spersonalizowanej – często w nagłówku jest imię, nazwisko, wiek. Osoby nieświadome mechanizmów opracowywania tego typu narzędzi mogą postrzegać takie opinie jako zindywidualizowany opis ich własnych uzdolnień, preferencji, predyspozycji czy innych zasobów karierowych.

Czego potrzebujemy, aby się przed takimi sytuacjami bronić?

Przede wszystkim krytycznego myślenia – i to w dwóch obszarach.

Po pierwsze warto krytycznie podchodzić do metod i narzędzi diagnostycznych. Mają one różną wartość, a poza tym to, jak są wykorzystywane w procesie oceny w dużym stopniu zależy od kompetencji, profesjonalizmu i refleksyjności osoby tę ocenę przeprowadzającej. Szczególnie krytycznym warto być wobec narzędzi niewystandaryzowanych, bez autora. Można jest stosować jako źródło inspiracji, czy propozycje kierunku myślenia nad własnymi zasobami, ale na pewno nie są to źródła rzetelne.

Po drugie warto krytycznie podchodzić do różnego rodzaju interpretacji wyników, opinii i rekomendacji. Warto z nimi dyskutować, a nawet je podważać czy negować. Im bardziej krytycznie podchodzimy do tych danych, tym mamy większą szansę na pogłębienie refleksji, na przyglądanie się różnicom pomiędzy wynikami metod deklaratywnych a rzeczywistymi umiejętnościami, uzdolnieniami i kompetencjami, które mamy okazję wykorzystywać w sytuacjach codziennych i zawodowych.

---

dr hab. Małgorzata Rosalska – pedagog, doradca zawodowy, adiunkt w Zakładzie Kształcenia Ustawicznego i Doradztwa Zawodowego na Wydziale Studiów Edukacyjnych Uniwersytetu im. Adama Mickiewicza w Poznaniu. Specjalizuje się w problematyce z zakresu doradztwa edukacyjno-zawodowego, polityki rynku pracy, edukacji dorosłych i polityki oświatowej. Ambasadorka EPALE.

---

Interesujesz się podnoszeniem kwalifikacji zawodowych i doradztwem zawodowym dla dorosłych? Szukasz inspiracji, sprawdzonych metod i niestandardowych form? Tutaj zebraliśmy dla Ciebie wszystkie artykuły na ten temat dostępne na polskim EPALE!

Zobacz także:

Czy warto opierać decyzje zawodowe na zainteresowaniach?

Kompetencja wyróżniająca, czyli o odpowiedzialności za własne zasoby karierowe

Czy karierę zawodową można zaplanować?

O uczeniu się życia w innym kraju i w nowej kulturze, czyli o trudzie akulturacji

---

Źródła

[1] W.J. Paluchowski, Diagnoza psychologiczna. Proces - narzędzia - standardy, Warszawa 2007, s. 202.

[2] Tamże, s. 205.

[3] N. Chmiel, Psychologia pracy i organizacji, Gdańsk 2002, s. 96.

[4] Tamże.

[5] W.J. Paluchowski, Diagnoza psychologiczna. Proces - narzędzia - standardy, Warszawa 2007, s. 89.