Zadbać o bezpieczny lot – o badaniu efektywności usług rozwojowych

Istnieje pewna sentencja, którą w obecnych, niełatwych dla biznesu czasach do serca powinni wziąć sobie przedsiębiorcy – nie tylko z sektora usług rozwojowych: oszczędność otwiera drzwi do nowych możliwości, skąpstwo je zamyka; pierwsze buduje mosty, drugie wznosi mury. Na pewne kwestie, w tym tak fundamentalne jak monitorowanie efektywności realizowanych usług, nie warto skąpić czasu, pieniędzy ani energii. Firma, która dopuści się zaniechań w tym obszarze może znienacka przerwać swój lot ku sukcesowi. I będzie to katastrofa, której naprawdę można było uniknąć.

Nie warto być szewcem z przysłowia

Mało które hasła tak gryzą się ze sobą, jak „branża rozwojowa” i „krótkowzroczność”. A niczym innym, jak krótkowzrocznością jest świadoma rezygnacja z weryfikacji efektywności realizowanych usług. W dzisiejszych czasach ostrej walki o prymat na rynku to zbyt łatwe, wręcz ewidentne oddanie pola gry konkurentom. Ekspert zarządzania i przywództwa, konsultant, coach i mentor, a także prezes Polskiej Izby Firm Szkoleniowych (PIFS) Piotr Piasecki przyznaje, że takie zaniechanie w przypadku podmiotu świadczącego usługi rozwojowe to najżałośniejszy znany mu przykład mądrości „szewc bez butów chodzi”. Bo firma, która „sprzedaje wiedzę” sama nie jest wiedzą zainteresowana; nie zamierza się uczyć, zmieniać, a chce zmieniać i uczyć innych. – Skutki będą opłakane. Bo będzie to przede wszystkim brak świadomości, czy nasze usługi są w ogóle skuteczne, na ile są konkurencyjne i czy ich koszt jest odpowiedni do zakładanych efektów. Firma świadomie rezygnuje z wiedzy o ewentualnych elementach do poprawy. Dotyczy to zarówno samej usługi, jak i kompetencji osób które ją realizują – przekonuje ekspert. Jednym słowem: to sabotaż czyniony samemu sobie, swojej własnej firmie, na własne życzenie.

Jakoś polecimy…

Mało który pasażer samolotu zdaje sobie sprawę, jak wiele czynności kontrolnych przechodzi maszyna, którą podróżował. On być może już dawno dojechał do celu swojej podróży, może jest w hotelu, może już śpi, tymczasem na lotnisku wciąż trwają procedury niezbędne do wykonania przed kolejnym lotem. Mechanicy sprawdzają stan opon, poziom oleju i poprawność działania elementów sterujących. W kabinie pasażerskiej trwa ocena sprzętu ratunkowego, czystości foteli i sanitariatów. W kabinie pilota sprawdza się wskaźniki, systemy nawigacyjne, awionikę. Uzupełniane są raporty, archiwizowane są dane. W przypadku wykrycia nieprawidłowości - przeprowadzane są dodatkowe kontrole lub naprawy. A teraz proszę spróbować zaufać linii lotniczej, która rezygnuje z tych wszystkich działań, wychodząc z założenia, że skoro samolot dziś wystartował i doleciał – na pewno jutro będzie tak samo: jakoś polecimy. Regularność i rzetelność procedur kontrolnych w samolocie to absolutny warunek bezpieczeństwa pasażerów oraz załogi przy kolejnej podróży. Tak samo dla firmy świadczącej usługi rozwojowe kluczowe znaczenie ma dobrze zaplanowane i konsekwentnie przeprowadzane monitorowanie efektywności realizowanych usług. Usługodawca maksymalizuje w ten sposób powodzenie kolejnego „startu i lądowania”, zaś uczestnicy kursu czy szkolenia mogą się spodziewać, że będą one najwyższej jakości – bo są na bieżąco weryfikowane. Dopiero kontrola tego, jaka właściwie była, jakie miała parametry i czy była opłacalna przeprowadzona właśnie usługa powinno być traktowanie jako zwieńczenie całego procesu – właśnie to, a nie samo wykonanie kursu, szkolenia. Gdy uczestnicy opuścili salę, gdy pasażerowie opuścili samolot praca dopiero się zaczyna…

Monitorowanie efektywności usług jest elementem ewaluacji i walidacji usługi rozwojowej (nie należy tego mylić z walidacją efektów uczenia się). Piotr Piasecki wyjaśnia, że ewaluacja ma zweryfikować, czy szkolenie opłaciło się i odnosi się do pytań takich jak:

• Czy posiadane przez kadrę umiejętności znalazły zastosowanie?
• Czy po powrocie do pracy, uczestnik szkolenia poprawił wykonanie danej czynności, zadania zawodowego, itp.?
• Czy szkolenie było opłacalne?
• Czy użyte zasoby zostały wykorzystane w sposób efektywny? 
• Jakie korzyści osiągnęła organizacja?

Z kolei walidacja ma za zadanie ocenić, czy szkolenie się udało i odnosi się do pytań takich jak:

• Czy zostały osiągnięte parametry projektu?
• Czy osiągnięte zostały cele uczenia się?
• Czy szkolenie przebiegło zgodnie z założeniami?

Nie bać się kosztów

Pytany o to, gdzie szukać wiedzy na temat ewaluacji; po jakie narzędzia, technologie sięgnąć i jak przygotować kadrę do solidnej weryfikacji Piotr Piasecki zaznacza, że nie jest to wiedza ekskluzywna i niedostępna; można ją czerpać np. w ramach procesu edukacyjnego przygotowującego edukatorów do pracy. W przypadku ewaluacji projektów finansowanych ze środków publicznych można korzystać z zasobów Polskiego Towarzystwa Ewaluacyjnego. Są też opracowania naukowe i książkowe dotyczące efektywności szkoleń tj. „Ocena efektywności szkoleń” Donalda L. Kirkpatricka, czy książka o takim samym tytule autorstwa Petera Bramley’a. Ekspert wyjaśnia, że na koszty ewaluacji wpływ mają zarówno zastosowane metody, jak i przyjęty zakres działań. Jak dodaje tych kosztów nie warto unikać, nie trzeba się ich bać. – Trzeba natomiast, wspólnie z klientem, ocenić, na jakim poziomie chcemy mieć wiedzę o efektywności usługi oraz o osiągnięciu efektów uczenia się - podkreśla. Piasecki mówi też, że osobną kwestią jest ewaluacja np. na potrzeby standardu usługi rozwojowej SUS 3.0. Standard ten określa wymagania wobec podmiotów szkoleniowo-rozwojowych w zakresie przygotowania, realizacji i ewaluacji oferowanych usług. Wyznacza też standardy zarządzania firmami oraz kompetencjami osób odpowiedzialnych za realizację usług. SUS 3.0 jest standardem certyfikowanym, jego spełnienie potwierdza audyt przeprowadzony przez profesjonalną i niezależną organizację certyfikującą. - Każda firma spełniająca wymogi standardu stosuje praktyki oceny efektywności po to aby doskonalić i rozwijać usługi. Tu koszt jest niezbędny - zaznacza prezes PIFS.

Wiedzieć nie tylko po to, by wiedzieć

Przy wyborze narzędzi stosowanych do prowadzenia oceny efektywności usługi ekspert sugeruje kierowanie się nie tyle ich kosztem co adekwatnością w stosunku do celów. - Jeżeli ocena ma odpowiedzieć na pytanie, czy usługa się opłaciła, zastosowane podejście musi nam na to pytanie odpowiedzieć. Jeżeli ma zweryfikować, czy uczestnicy osiągnęli (i w jakim stopniu) efekty uczenia się, wówczas zastosowane podejście powinno być nakierowane na walidację tego elementu – mówi. Potrzeba czy wymóg monitorowania efektywności realizowanych usług nie jest oczywiście sztuką dla sztuki. Właściwie przeprowadzony proces to jeden z warunków osiągnięcia rynkowego sukcesu. Piotr Piasecki mówi, że działanie takie może skutkować innowacjami, wytworzeniem odmiennych usług i nowych podejść. Wskaże np. potrzebę rozbicia usługi na mniejsze elementy ułatwiające opanowanie efektów uczenia się i ich wdrożenie, względnie umożliwi zmniejszenie kosztów usługi poprzez zastosowanie rozwiązań cyfrowych.

Wyniki ewaluacji pozwalają zatem na:

• modyfikację po stronie promocji, sprzedaży i kontraktowania usługi,
• modyfikację w zakresie diagnozy potrzeb i budowania relacji z klientem,
• modyfikację zastosowanych technologii, metod, form i narzędzi,
• modyfikację treści i ich źródeł,
• modyfikację po stronie zachowań i umiejętności kadry.

Nikt nie jest zbyt mały…

Czy podmioty najmniejsze: mikroprzedsiębiorstwa, osoby samozatrudnione także powinny uwzględniać w swojej działalności potrzebę monitorowania efektywności realizowanych kursów czy szkoleń? Naturalnie! Piotr Piasecki jest zdania, że w tej kwestii żaden podmiot realizujący usługi rozwojowe nie jest na to zbyt mały. Jego zdaniem projektowanie adekwatnych działań ewaluacyjnych nie wymaga dużego zespołu, zatem wielkość firmy nie ma większego znaczenia. Ważniejszym kryterium jest to, co jest celem ewaluacji oraz to, czy koszt jest akceptowalny. - Dla każdej usługi wyznaczane są jej cele i metody, zatem warto dopasować ewaluację właśnie do nich. Jeżeli usługa rozwojowa prowadzi do wąskiego zestawu efektów uczenia się, np. chodzi o dwudniowe szkolenie, wówczas ewaluacja mogłaby objąć realizację założeń projektu i zakres niezbędnych modyfikacji; poziom satysfakcji uczestników; ocenę osiągniętych przez nich celów uczenia się przed ich wdrożeniem w praktykę oraz ocenę trafności diagnozy potrzeb i przyjętych celów uczenia się – mówi ekspert. Pytany o wyzwania czy pokusy przed jakimi mogą stanąć firmy szkoleniowo-doradcze w kontekście badania efektywności usług wskazuje, że są obszary trudniejsze i prostsze w diagnozowaniu. - Generalnie pomiar umiejętności, zwłaszcza tych zaawansowanych, np. kompetencji społecznych, jest trudniejszy od pomiaru wiedzy. Sprowadzanie walidacji do oceny poziomu wiedzy podczas gdy usługa ma prowadzić do umiejętności to jedna z częstszych dróg na skróty w ocenie osiągania efektów uczenia się – mówi. Przyznaje, że zdarza się nadużywanie ankiet ewaluacyjnych służących do pomiaru zadowolenia uczestników do oceny efektywności całej usługi. – Generalną, zauważaną w przypadku firm branży usług rozwojowych drogą na skróty jest rezygnacja z próby ustalenia poziomu i zakresu ewaluacji z klientem, bo to wpływa na koszt usługi – dodaje. Zaznacza też, że w kwestii badania efektywności usługi wiodące znaczenie ma opanowanie sztuki przekładania efektów uczenia się na kryteria weryfikacji, które da się i opłaca się zastosować. Liczy się umiejętność krytycznej oceny adekwatności stosowanych metod, form, narzędzi do celów oraz do kosztów usługi.

Brak monitorowania efektywności usług rozwojowych to jak podróż w ciemności, bez mapy i kompasu. Długofalowe skutki tego zaniechania nie tylko wpływają na jakość usług, ale też obniżają konkurencyjność na rynku. I tak jak samolot potrzebuje przeglądów, aby zapewnić bezpieczeństwo kolejnych lotów, tak firmy muszą regularnie weryfikować jakość swojej pracy, aby rozwijać się i działać efektywnie. Kto tego nie robi być może ignoruje alarm o awarii na pokładzie. Firmy, które stawiają na jakość i ewaluację, nie tylko unikają „katastrof”, ale także pewnie i bezpiecznie lecą wprost w stronę prosperity.