Walidacja - nie taka straszna, jak ją malują

Trzeba to uczciwie stwierdzić: nikt nie lubi sprawdzianów. Nawet prymus czuje lekką tremę, gdy siada przed egzaminatorami. Z tego powodu pojęcie walidacji może nie cieszyć się szczególną popularnością w branży usług rozwojowych – ani wśród edukatorów, ani wśród osób uczących się. Na pierwszy rzut oka, ucha być może kojarzy się z drobiazgową kontrolą jakości usługi rozwojowej, polegającą na doszukiwaniu się jej słabych punktów. Walidacja to sprawdzenie, czy ktoś naprawdę nabył nowe kompetencje, czy tylko grzecznie siedział na szkoleniu i kiwał głową. Gdy zatem przychodzi czas na walidację, dygot łydek u usługodawcy i u kursanta jest niewykluczony… Ale czy potrzebny?

O tym, dlaczego walidacja się opłaca, dlaczego nie warto się jej lękać mówi ekspertka ds. walidacji efektów uczenia się, kwalifikacji i współpracy z instytucjami certyfikującymi dr Natalia Kopeć-Panek z Instytutu Badań Edukacyjnych – Państwowego Instytutu Badawczego.

Na czym polega walidacja usług rozwojowych? Kto ją przeprowadza?

Jest to weryfikacja, czy uczestnik usługi przyswoił wiedzę i zdobył oczekiwane umiejętności. Może być przeprowadzana różnymi metodami, wszystko zależy od tego, co konkretnie trzeba sprawdzić, w jakich warunkach itp. Często usługi zawierają w sobie komponent teoretyczny i praktyczny, wtedy też walidacja powinna obejmować – mówiąc potocznie – sprawdzenie teorii i praktyki. Na pewno powinny ją przeprowadzać osoby mające doświadczenie w ocenie kompetencji innych osób, ale także – co oczywiste – posiadające wiedzę oraz doświadczenie w dziedzinie merytorycznej, której dotyczy usługa. W przypadku usług rozwojowych może tu wystąpić dwojaka sytuacja. Walidację może przeprowadzać, wewnętrznie, sam dostawca usługi. Wówczas powinien zadbać o rozdzielność procesów, czyli zapewnić kogoś do prowadzenia szkolenia, kogoś innego do prowadzenia walidacji. Jest to rozwiązanie stosowane głównie w przypadku usług skutkujących nabyciem kompetencji, ale czasem także w usługach prowadzących do nabycia kwalifikacji;, o ile dostawca usługi ma uprawnienia do prowadzenia walidacji i certyfikowania.. W drugiej opcji walidację może przeprowadzać podmiot zewnętrzny, współpracujący z dostawcą usług. Ma to zastosowanie zwłaszcza w usługach, których finałem może być nabycie kwalifikacji, gdy dostawca sam walidacji prowadzić nie może z przyczyn formalnych. Na przykład w przypadku kwalifikacji włączonych do Zintegrowanego Systemu Kwalifikacji to ustawa określa, jakie podmioty mogą prowadzić walidację i wydawać dokumenty potwierdzające kwalifikacje. Jeśli dostawca usługi szkoli w zakresie danej kwalifikacji, ale sam nie jest uprawniony do tego, by prowadzić walidację i certyfikowanie i zleca to podmiotowi zewnętrznemu, powinno być to jasno wskazane w karcie usługi.

Jakie metody walidacji są najczęściej stosowane? Które są lepsze, kosztowniejsze, bardziej czasochłonne?

Trudno mówić o metodach lepszych i gorszych. Ich dobór zależy od tego, co chcemy sprawdzić. Usługi szkoleniowe zwykle zawierają komponent teoretyczny i praktyczny – wówczas należy wybrać metody, które pozwolą sprawdzić i wiedzę i umiejętności. Dobre sposoby sprawdzania wiedzy to test i wywiad, które mogą być realizowane w różnej formule, np.: ustnie/pisemnie, stacjonarnie /zdalnie. Szczególnie chętnie wykorzystywaną metodą jest test, który zwykle generuje niewielkie koszty i daje możliwość sprawdzenia wiedzy wielu osób jednocześnie. Łatwiej jest też wystandaryzować jego ocenę. Do sprawdzenia praktyki odpowiednia będzie na pewno obserwacja w warunkach rzeczywistych lub symulowanych. W jej trakcie walidatorzy oceniają to, jak uczestnicy wykonują określone zadnia, prezentują swoje umiejętności. Jest to metoda bardziej koszto- i czasochłonna, co wynika m.in. z konieczności zapewnienia np. odpowiednich sprzętów czy produktów oraz z faktu, że oceniana jest mniejsza liczba osób jednocześnie (czasem tylko jedna osoba w danym czasie). Jednak tylko praktyczna walidacja pozwala stwierdzić, czy dana osoba nabyła zakładane umiejętności. Nie można przykładowo sprawdzać testem czy wywiadem umiejętności wykonania makijażu. Stosunkowo nową, ale coraz popularniejszą metodą jest analiza dowodów i deklaracji. Podstawą oceny jest tu przedstawiony materiał, np. próbki pracy, wytwory artystyczne, dokumenty, publikacje - wszystko, po czym walidator może poznać, czy osiągnięto efekty uczenia się. Warto tu zaznaczyć, że lista metod walidacji dostępnych do wyboru podczas wypełniania karty usługi rozwojowej jest niemal tożsama z Katalogiem Metod Walidacji opracowanym swego czasu w IBE PIB. Tam znaleźć można szczegółowe opisy metod. Osobiście polecam też publikację dotyczącą analizy dowodów i deklaracji, przygotowaną przez praktyków walidacyjnych. Zawiera wiele przydatnych wskazówek w zakresie tej metody.

Czy nowe technologie mogą wesprzeć proces walidacyjny?

Zdecydowanie tak. Coraz popularniejsze stają się formy walidacji zdalnej, które można stosować oczywiście tylko tam, gdzie zakres i charakter efektów uczenia się na to pozwala W ten sposób można przeprowadzić np. test wiedzy (na platformie elektronicznej) czy wywiad (komunikując się online). W przypadku praktyki, duże możliwości dają np. narzędzia rzeczywistości wirtualnej, np. specjalistyczne symulatory VR. Ale są też pewne ryzyka. Np. w związku z powszechnie już chyba wykorzystywanymi narzędziami AI coraz częściej, w kontekście walidacji, egzaminów, pojawia się pytanie o samodzielność pracy osób egzaminowanych. Warto o tym pamiętać i dbać o mechanizmy zabezpieczające jakość walidacji. W przypadku testów może to być np. aktywne śledzenie ekranu, czasowy dostęp do testu czy ograniczony czas odpowiedzi na każde z pytań.

Dlaczego walidacja jest takim wyzwaniem dla wielu dostawców? Wynika to ze stopnia skomplikowania procesu czy może z braku znajomości, zrozumienia tego procesu?

Walidacja jest dla wielu usługodawców czymś nowym i nieznanym. Trzeba się nauczyć ją planować i prowadzić, to może być wyzwaniem. Te firmy szkoleniowe, które praktykowały egzaminowanie po swoich szkoleniach, na pewno radzą sobie lepiej. Ale wielu dostawców usług koncentrowało się wyłącznie na uczeniu innych. Znają się na swojej „robocie”, ale nie mają doświadczenia w walidacji, mogą nie mieć na pokładzie osób, które potrafią ocenić kompetencje innych, które dobiorą sposoby tej oceny, a następnie wdrożą je w działaniu. Wielu dostawców być może jeszcze nie do końca zaprzyjaźniło się z efektami uczenia się, które pokazują zakres ich usługi i powinny być w określony sposób opisane. A czy walidacja jest trudna? To zależy. Będą procesy bardziej skomplikowane, bo materia do sprawdzenia jest trudniejsza, są i takie, które da się przeprowadzić w oparciu o jedną metodę. Ważne jest, aby przyswoić sobie podstawowe zasady, rozeznać się w metodach walidacji, zrealizować pierwsze usługi, a potem to z powodzeniem powtarzać.

 Jak przygotować firmę i trenerów do sprawnego procesu walidacyjnego?

Po pierwsze, trzeba ten proces dobrze przemyśleć i zaplanować. Ważny jest dobór metod walidacji – powinny być adekwatne do efektów uczenia się, dobrane uczciwie i zdroworozsądkowo. Jeśli dostawca deklaruje w karcie usługi, że nauczy uczestników np. obsługiwać jakieś sprzęty, to powinien uczyć praktycznie, a nie tylko przez wykład, także praktycznie powinien sprawdzić nabyte umiejętności. Po drugie, warto uwzględniać realne możliwości podmiotu: jeśli dostawca usługi nie dysponuje odpowiednimi narzędziami cyfrowymi - wybiera rozwiązania stacjonarne. Po trzecie – zespół. Aby walidacja była rzetelna, powinna być realizowana przez osoby znające się na egzaminowaniu, nie tylko na uczeniu. A jak przygotować trenerów, jeśli podmiot chce korzystać z własnych zasobów kadrowych? Warto wysłuchać webinarów (nawet jeden taki z PARP udało mi się na popełnić), korzystać ze szkoleń PARP czy IBE PIB.

A wracając do planu – ważne by nie pozostał on tylko wizją w czyjejś głowie. Zawsze zachęcam do tego, by opisać krok po kroku przebieg walidacji. Pozwala to określić dokładnie co się ma zadziać. Można zawczasu zidentyfikować potencjalne zagrożenia. Ponadto wszyscy zaangażowani w walidację będą mogli realizować walidację według planu, co jest ważne dla jakości procesu.

Jakie są dobre praktyki i najczęstsze błędy w opisywaniu efektów uczenia się?

Ważne jest, aby efekty uczenia się wskazywały faktycznie na to, czego dostawca usługi chce nauczyć. Jeśli to mają być umiejętności, czasowniki operacyjne powinny wskazywać na ten praktyczny charakter danego efektu. Załóżmy, że celem usługi jest przygotowanie uczestnika do samodzielnego wykonywania różnego rodzaju makijaży. Wśród spodziewanych efektów mogą się pojawić: wykonuje makijaż dzienny, dopiera pędzle do… itd. Dobór takich czasowników byłby jednak nieodpowiedni, gdyby ta sama usługa obejmowała wyłącznie wykład czy pokaz, bez możliwości wykonania powyższych czynności przez uczestnika. Wówczas bardziej odpowiednie byłyby: „opisuje rodzaje makijażu”, „wymienia metody doboru…” itd. Zakładane efekty z jednej strony definiują program danej usługi, a z drugiej determinują metodę walidacji i sposób jej prowadzenia. Przeglądając karty usług rozwojowych zauważyłam, że najczęstszym błędem jest właśnie złe dobranie czasowników: usługa ma np. cel praktyczny, a efekty uczenia się są wyłącznie teoretyczne. Nie zawsze też stosowane są czasowniki operacyjne, zamiast nich pojawiają się określenia: „zna”, „potrafi”. Szczególnie teraz, gdy walidacja stała się niezbędnym elementem usługi rozwojowej, ważne jest by wskazywać bardzo konkretnie, co będzie uczone i co będzie sprawdzane.

Co przede wszystkim ma wykazać walidacja i w jaki sposób ma wspierać podmioty świadczące usługi rozwojowe? Dlaczego jest ważna z punktu widzenia interesów usługobiorców?

Najkrócej mówiąc: walidacja wpływa na jakość usług. Liczy się nie tylko to, aby usługobiorców czegoś uczyć, ale by ich nauczyć i sprawdzić dokładnie z czym (z jaką wiedzą, umiejętnościami) wychodzą. Jest to korzyść dla uczestnika, który będzie bardziej zmotywowany do osiągnięcia efektów uczenia się, a to generuje lepszy „efekt” usługi. Spodziewany na zakończenie usługi egzamin motywuje też usługodawcę do jak najlepszej realizacji proces nauczania. To kolejna korzyść dla usługobiorcy. Jest też benefit dla rynku, dla pracodawców, którzy w portfolio potencjalnego pracownika mają nie tylko plik zaświadczeń o ukończonych szkoleniach, ale dokumenty potwierdzające realnie zdobyte przez niego kompetencje lub kwalifikacje.

Na jakim etapie wdrażania wymogów walidacyjnych jest nasz rynek?

Trudno powiedzieć, bo to zależy na jaki rynek spojrzeć. Rynek walidacyjny dotyczący kwalifikacji jest częściowo porządkowany przez Zintegrowany System Kwalifikacji. Tam są jasno określone zasady walidacji, a podmioty które chcą nadawać kwalifikacje włączone do systemu, muszą je stosować. Za sprawą BUR „rynek walidacyjny” mocno się poszerzył. Dla wielu podmiotów walidacja to temat nowy. Oczywiście są dostawcy usług biegli w tej sztuce, ale są i tacy, którzy potrzebują bazowych informacji Na obecnym etapie ważne są więc wszelkie działania informacyjne. Zachęcam przedsiębiorców i pracowników firm szkoleniowych, by szukali sprawdzonych informacji o walidacji i by poszerzali swoją wiedzę w tym zakresie.