Mity i wyzwania ewaluacji. Jak rzetelnie mierzyć efekty działań rozwojowych?

Kiedy firma zainwestuje miliony złotych w nową linię produkcyjną, po jej uruchomieniu sprawdzi wszystko. Najpierw to, czy urządzenia zostały dostarczone i poprawnie zamontowane. Potem przeanalizuje wydajność, jakość produkcji, koszty eksploatacji i liczbę awarii. To samo przedsiębiorstwo po realizacji kosztownej usługi rozwojowej często uzna projekt za zakończony tylko dlatego, że szkolenie się odbyło. Tymczasem działania rozwojowe także potrzebują rozbudowanej weryfikacji efektów. W dodatku te dotyczące inwestycji w sprzęt są zwykle łatwiej mierzalne od tych dotyczących kompetencji.

Człowiek to nie maszyna

Iwona Skiba, dyrektor obszaru psychologii biznesu GRUPY ODiTK, zwraca uwagę, że zakończenie szkolenia nie oznacza zakończenia procesu rozwojowego. Obecność uczestników, wypełnione ankiety satysfakcji i zamknięta dokumentacja potwierdzają realizację usługi, ale nie są dowodem trwałej zmiany. Aby nowe kompetencje zaczęły funkcjonować w codziennej pracy, uczestnicy muszą rozpoznać, kiedy zastosować nowe podejście, mieć możliwość jego przećwiczenia, otrzymać wsparcie przełożonego i znaleźć dla niego miejsce w swojej praktyce zawodowej. Dopiero po pewnym czasie można rzetelnie ocenić, czy działanie rozwojowe przełożyło się na zmianę zachowań i sposobu pracy.

Z analizowania każdego procesu, incydentu oraz przekładania płynących z nich wniosków na praktykę słynie branża lotnicza. Jej przedstawiciele potrafią ocenić czy podobnie wnikliwe podejście do procesów i ich skutków widać w obszarze szkoleń. Dyrektor Biura Rekrutacji, Rozwoju i Komunikacji Polish Airports Academy Jakub Mazur przyznaje, że wciąż nie jest to powszechne. – W zarządzaniu bezpieczeństwem analiza zdarzenia ma prowadzić do zidentyfikowania przyczyn, wdrożenia działania korygującego oraz sprawdzenia jego skuteczności, i w tym zakresie nie ma ustępstw. Ciągłe doskonalenie, poprawa jakości i bezpieczeństwa są elementami nienaruszalnymi w kulturze lotniczej. Jednocześnie w przypadku samych szkoleń proces ich ewaluacji często kończy się wcześniej – na ankiecie satysfakcji – zauważa.

Ewaluacja zaczyna się przed szkoleniem

Przed wyruszeniem w podróż warto wiedzieć, jaki ma być cel. Przy planowaniu wdrożenia usługi rozwojowej trzeba ustalić, jakie elementy potwierdzą – po kwartale czy półroczu – że usługa przyniosła spodziewany efekt. Jeżeli nie potrafimy odpowiedzieć na to pytanie przed rozpoczęciem działania rozwojowego, bardzo trudno będzie zrobić to po jego zakończeniu. Dlatego dobra ewaluacja zaczyna się nie po szkoleniu, lecz już na etapie projektowania całego procesu. Zanim trener spotka się z zespołem, zanim wyświetlony zostanie pierwszy slajd, organizacja musi mieć ustalony zestaw zachowań, wskaźników i procesów, które mają być osiągnięte po szkoleniu i zmierzone. Musi też zostać wskazana osoba odpowiedzialna za ewaluację oraz wyznaczony termin oceny efektów.

Iwona Skiba zwraca uwagę, że organizacje zbyt rzadko wracają do pytania, czy program rozwojowy rzeczywiście zmienił sposób pracy uczestników, ich zachowania lub wyniki biznesowe. Jedną z głównych barier są kolejne priorytety organizacji. Po zakończeniu programu uczestnicy wracają do bieżących zadań, menedżerowie koncentrują się na realizacji celów, a HR rozpoczyna kolejne projekty. Jeżeli termin oceny efektów nie został zaplanowany już na etapie projektowania programu, zwykle nie znajduje się na nią czasu. Istotną barierą bywa również obawa przed wynikiem. Łatwiej pozostać przy wynikach ankiet satysfakcji, które najczęściej są pozytywne i pozwalają sprawnie zamknąć projekt. Nie odpowiadają one jednak na pytanie, czy uczestnicy rzeczywiście zaczęli pracować inaczej. Brak oczekiwanego efektu nie musi oznaczać porażki. Może pokazać, że program wymaga innej konstrukcji, uczestnicy potrzebują dodatkowego wsparcia albo źródło problemu nie leży w kompetencjach. Taka informacja pozwala podejmować trafniejsze decyzje przy kolejnych działaniach rozwojowych - podkreśla ekspertka.

Nikt nie lubi egzaminów…

Prezes zarządu Polskiej Izby Firm Szkoleniowych Piotr Piasecki zauważa, że kwestia zarządzania efektami uczenia się to obszar, który najlepiej rozwinęły duże firmy, mające własne zasoby HR. Tam wewnętrznie diagnozuje się potrzeby rozwojowe i zarządza projektami rozwojowymi. Jednak nawet tam często nie planuje się i nie stosuje ewaluacji na poziomie pomiaru efektów uczenia się, ich wykorzystania i wpływu na organizację. Ekspert wskazuje, że kompetencji w zakresie ewaluacji brakuje zarówno po stronie odbiorcy usługi (czego mogę oczekiwać?), jak i po stronie dostawcy (co umiem wykonać?). – Działają dwa inne mechanizmy. Jeden ekonomiczny - kto za to zapłaci?, drugi kulturowy: czy na pewno chcemy tak skrupulatnie mierzyć efekty usługi? Nie mamy odpowiedniej kultury uczenia się, która stawia na ciągły rozwój, która traktuje informację zwrotną - taką daje ewaluacja - jako jego niezbędny element – mówi Piotr Piasecki.

Społeczny opór przed weryfikacją kompetencji jest istotnym problemem kulturowym. Dawne doświadczenia ze szkoły – egzaminy i sprawdziany – sprawiają, że dorosły człowiek po prostu nie lubi być oceniany. To z kolei zniechęca zarówno firmy, jak i szkoleniowców do rzetelnego sprawdzania efektów. Piotr Piasecki przekonuje jednak, że czas zmienić to podejście i zacząć umawiać się na efekt, a nie na same „godziny wysiedziane w sali”. Dostawca usługi powinien nie tylko przeprowadzić warsztat, ale zaplanować razem z klientem etap wdrożenia i od razu ustalić, jak zmierzyć realną zmianę.

W stronę budowy kultury ewaluacji

Bywa, że firmy korzystające z zewnętrznego dofinansowania usług rozwojowych muszą funkcjonować pod dyktando rygorystycznych wymogów formalno-prawnych operatorów. Z obawy przed nierozliczeniem dotacji i ze względów ekonomicznych rezygnują z mierzenia rzeczywistych umiejętności czy wdrażania zmian na rzecz prostych testów wiedzy (które łatwo wykazać w dokumentacji). Ze względów ekonomicznych i biurokratycznych firmy szkoleniowe nie podejmują się oferowania, projektowania i realizacji procesów wdrożeniowych ani pomiaru efektów, a jedynie realizują obowiązkową walidację.

– Ta obowiązkowa walidacja to dobry krok w stronę budowy kultury ewaluacji w Polsce, ale wskazane wcześniej ograniczenia nie stymulują firm do robienia czegoś więcej. Z obawy przed brakiem rozliczenia oraz barierami formalnymi dostawcy usług i ich klienci nie podejmą się realizacji takich przedsięwzięć – mówi Piotr Piasecki.  

Dobre szkolenie to nie wszystko

Zdarza się, że szkolenie otrzymuje świetne oceny uczestników, badanie NPS potwierdza je w zupełności, ale nie przynosi ono spodziewanych zmian w funkcjonowaniu organizacji. Jakub Mazur wskazuje, że jest to zjawisko dobrze rozpoznane w badaniach nad efektywnością szkoleń i, niestety, znacznie częstsze, niż mogłoby się wydawać. Wysoka ocena programu, trenera czy materiałów odzwierciedla przede wszystkim satysfakcję uczestników, ale nie przesądza o nabyciu kompetencji ani o ich późniejszym wykorzystaniu w miejscu pracy. Transfer efektów szkolenia zależy również od środowiska organizacyjnego, w szczególności od wsparcia przełożonych, możliwości zastosowania nowych umiejętności, dostępności odpowiednich narzędzi oraz spójności programu z rzeczywistymi wymaganiami stanowiska. Ekspert dodaje, że nie istnieje jeden miarodajny wskaźnik określający skalę tego zjawiska dla całego rynku, zwłaszcza w Polsce. Badanie Alana M. Saksa i Monicy Belcourt, obejmujące 150 organizacji, wykazało, że nowe kompetencje wykorzystywało 62% pracowników bezpośrednio po szkoleniu, 44% po sześciu miesiącach i 34% po roku[1]. Mimo że dane te nie mają charakteru uniwersalnego, wskazują na znaczenie działań poszkoleniowych dla utrzymania i praktycznego wykorzystania nabytych kompetencji.

ROI nie zawsze ma sens

Być może warto byłoby przyjąć w obszarze rozwojowym filozofię podobną do tej, która funkcjonuje w branży lotniczej. Jej istotą jest budowanie środowiska, w którym pracownicy mogą otwarcie mówić o błędach, zgłaszać zagrożenia i dzielić się doświadczeniami bez obawy przed nieuzasadnionym karaniem. Celem nie jest szukanie winnych, lecz zrozumienie przyczyn i ciągłe doskonalenie systemu. Takie postawy mają głębokie podłoże w kulturze nazywanej „just culture”, ale także w adekwatnych procedurach i utrwalonych wzorach działania. Jakub Mazur podkreśla, że filozofia ta znajduje swoje naturalne odzwierciedlenie również w podejściu pracodawców tego sektora do szkoleń. Ewaluacja nie jest traktowana jako formalność ani narzędzie oceny trenera, lecz jako źródło wiedzy o tym, co działa dobrze, a co wymaga poprawy. To co należy podkreślić, to fakt, że nie da się ocenić, czy przeprowadzenie usługi rozwojowej miało sens, gdy nie wiadomo, jaki był stan początkowy.

Jeżeli przed rozpoczęciem procesu firma nie zmierzy jakości obsługi klienta, czasu wdrożenia nowych pracowników, liczby błędów, jakości współpracy między zespołami czy skuteczności menedżerów, trudno później rzetelnie pokazać zmianę. W przypadku usług rozwojowych nie zawsze proste jest oszacowanie zwrotu z inwestycji. Piotr Piasecki przestrzega wręcz przed dążeniem do wyliczania ROI za wszelką cenę. Kompetencje nie zawsze da się przełożyć na wskaźniki biznesowe – jest tak chociażby ze złożonymi kompetencjami społecznymi, tj. umiejętnością pracy w zespole kreatywnym, przywództwem, kompetencjami intra- i interpersonalnymi. – Ewaluacja bywa utożsamiana wyłącznie z twardym pomiarem, przez co lekceważy się wartość ankiet satysfakcji. Tymczasem rozwój kompetencji społecznych opiera się na celach indywidualnych i nie zawsze da się go zamknąć w sztywnych wskaźnikach biznesowych – przypomina prezes PIFS.

Rozmowa też jest ewaluacją

Według Jakuba Mazura ewaluacja powinna obejmować pomiar wiedzy lub umiejętności przed szkoleniem i bezpośrednio po nim, obserwację zachowań po kilku tygodniach oraz analizę wybranych wskaźników operacyjnych. Jeżeli szkolenie było projektowane z myślą o konkretnym celu biznesowym, warto również obserwować wskaźniki organizacyjne związane bezpośrednio z tym celem. To one pokazują, czy rozwój kompetencji realnie przełożył się na funkcjonowanie organizacji. Mierząc efektywność działań rozwojowych warto łączyć trzy perspektywy: zmiany na poziomie zachowań, czyli tego, co możemy zaobserwować w codziennej pracy, na przykład adekwatne stosowanie procedur, korzystanie z dostępnych narzędzi, eskalowanie ryzyka w odpowiednim momencie, przekazywanie informacji zwrotnej; zmiany jakości realizowanych procesów, czyli liczbę błędów, odstępstw, poprawek, reklamacji i niezgodności audytowych oraz poziom osiąganych wyników – czasu realizacji zleceń, produktywności, retencji, jakości zatrudnienia lub satysfakcji klienta. Jednocześnie nie każde działanie rozwojowe wymaga rozbudowanego badania. Praktyka pokazuje, że znaczny wpływ na realne zmiany i transfer wiedzy do organizacji ma bezpośredni przełożony. Dlatego tak ważne są działania po szkoleniu prowadzone na tym poziomie: rozmowa o oczekiwaniach, wspólne zaplanowanie wdrożenia nowych umiejętności, wyznaczenie konkretnych zadań, regularna informacja zwrotna i ocena postępów po kilku tygodniach. Przykładem takiej rozmowy mogą być trzy pytania zadawane pracownikowi po szkoleniu: Co było dla Ciebie nowego podczas szkolenia? Co podczas szkolenia potwierdziło wiedzę lub umiejętności, które już wcześniej posiadałeś? Co chciałbyś wdrożyć od jutra w swoim miejscu pracy? – dają one organizacji pierwszą wiedzę o efektach usługi rozwojowej. Według Jakuba Mazura już taka krótka rozmowa osoby szkolonej z jej przełożonym znacząco zwiększa prawdopodobieństwo wykorzystania nowych kompetencji w praktyce. Kolejny zestaw istotnych danych przyniesie rozmowa z menedżerem po 6–12 tygodniach od zakończenia usługi. Pomoże ona ustalić, co pracownik robi inaczej, co nadal sprawia mu trudność oraz jakiego wsparcia potrzebuje, aby utrwalić zmianę. Iwona Skiba podkreśla, że najbardziej wiarygodnym potwierdzeniem skuteczności działań rozwojowych są efekty widoczne w codziennej pracy. Mogą to być usprawnione procesy, wdrożone inicjatywy, skrócenie czasu realizacji zadań, ograniczenie liczby błędów czy poprawa jakości współpracy. W takich sytuacjach wartość programu rozwojowego można ocenić nie na podstawie deklaracji uczestników, lecz obserwowalnych rezultatów ich działań. Są bardziej miarodajne niż same deklaracje uczestników.

Eksperci nie mają wątpliwości: za dobrą ewaluacją nie musi kryć się skomplikowany system. Często wystarczą dwa lub trzy dobrze dobrane wskaźniki, pomiar sytuacji wyjściowej, ponowna ocena po dwóch–trzech miesiącach oraz rozmowa z uczestnikiem szkolenia i jego przełożonym. Dobrze przeprowadzona ewaluacja nie odpowiada jedynie na pytanie, czy szkolenie się udało - pokazuje jak sprawić, by następne było jeszcze skuteczniejsze. Dopiero wtedy staje się narzędziem rozwoju, a nie jedynie obowiązkiem do odhaczenia.

[1] Saks, A. M., & Belcourt, M. (2006). An investigation of training activities and transfer of training in organizations. Human Resource Management, 45(4), 629–648. https://doi.org/10.1002/hrm.20135