12 Gru
Written by: Super User
Odsłony: 1895

Wielokrotnie zwraca się uwagę na to, że ankiety szkoleniowe nie oceniają efektywności szkolenia. Poniżej zamieszczam autentyczny opis sytuacji, który oprócz podania wypowiedzi w ankietach przeprowadza ich interpretację.

Szkolenie: „Prowadzenie prezentacji biznesowych” zajęcia dwudniowe w formule szkolenia otwartego. W zajęciach uczestniczyło 10 osób ankiety zebrano od 9.  Formularz zawiera zaledwie 8 pytań, do oceny użyto 4 stopniowej skali (bardzo dobra, dobra, dostateczna, niedostateczna) i pola komentarz.

„Ogólna ocena szkolenia”

Pierwsze pytanie dotyczy ogólnej oceny szkolenia i pozwala zaledwie na zbadanie emocjonalnej reakcji uczestników.  Na 9 ankiet 8 respondentów odznaczyło odpowiedź maksymalną „Bardzo dobra”. Taka ocena powinna cieszyć, jednak daję ona tylko informację o świetnej atmosferze szkolenia. Celem uzyskania pewności co do merytorycznej treści tych wypowiedzi warto je porównać z uzasadnieniem/komentarzem.
Do tego pytania padają jedynie dwa komentarze:

„Praktyczne zajęcia bardzo dobre”
„Świetny trener, dobry program”

Brak komentarzy w tej kategorii tym bardziej sugeruje emocjonalny charakter oceny. Może to również wynikać z braku wiedzy przez ankietowanych na temat kryterium oceny efektywności szkolenia oprócz „fajnej atmosfery”.

„Oczekiwania”

Kolejne pytanie dotyczy spełnienia oczekiwań skala (tak, raczej tak, raczej nie, nie), otrzymujemy 6 odpowiedzi na tak i dwie na raczej tak. Jednak musimy sobie postawić pytanie jak uczestnicy interpretują skalę odpowiedzi czyli co dla nich oznacza raczej tak ?
W komentarzach przy tym pytaniu pojawiają się:

„W tym celu tu przyjechałem i mam wizję poprawy swojej prezentacji”
„tak, na pewno zastosuje nowe pomysły w pracy”
„Szkoda tylko, że zostaliśmy uprzedzeni, że będziemy mieć prezentacje, wtedy mogłabym się lepiej przygotować”
„Wytknęło braki”

Te komentarze są już wartościowe, po pierwsze zwrócenie uwagi na organizację szkolenia, uczestnicy powinni być uprzedzeni o przygotowaniu na szkolenie własnej prezentacji do wystąpienia. Brak tej informacji zmusił uczestników do mało komfortowej improwizacji. Po drugie komentarz wytknęło braki sugeruje, że część szkolenia, gdzie uczestnicy oglądali nagrania własnych wystąpień została prawdopodobnie poprowadzona „za głęboko” i udzielana informacja zwrotna była dyskomfortowa.  Może być to wskazówka na przyszłość, że pomimo silnej potrzeby u  uczestników uzyskania informacji zwrotnej, ważne jest aby każdemu dać tyle feedbacku ile jest w stanie sam przyjąć. Po trzecie wypowiedź o nowych pomysłach do pracy sugeruje, że pewne elementy ze szkolenia zostaną zastosowane w praktyce.

„Zgodność szkolenia z programem”

Pytanie trzecie dotyczy zgodności szkolenia z programem. Ważna kwestia, gdyż jedna z przyczyn reklamacji usługi szkoleniowej to niezgodność szkolenia z programem. Uzyskując potwierdzenie w ankiecie tej zgodności, na piśmie posiadamy dowód pozwalający na próbę załagodzenia spornej sytuacji. Doświadczenie trenerzy zdają sobie sprawę, że szczególnie przy szkoleniach otwartych program często z e względów procesowych ulega modyfikacjom, nie może jednak to odbywać się w sposób radykalny. Ponownie mamy 6 odpowiedzi na tak i 2 na raczej tak, spójrzmy na komentarze:

„zmiana kolejności punktów programu była dostosowana do aktualnej sytuacji i omawianych zagadnień”
„Lepiej by było gdybyśmy byli jeszcze przed szkoleniem poproszeni o przygotowanie krótkiej prezentacji, którą byśmy przedstawili”

Te dwa komentarze naprawdę nie wskazują na żadne negatywne aspekty zgodności z programem. Pierwsza wypowiedź wykazuje zrozumienie dla drobnej zmiany programu (co zostało ustalone i zaakceptowane przez grupę) druga wypowiedź nie w temacie ale ponownie wskazuje na informację o przygotowaniu uczestników do zajęć.

„Ocena trenera”

Wreszcie dochodzimy do kluczowej kwestii jaka jest ocena pracy trenera tu wszyscy wpisali ocenę maksymalną i jest to z pewnością ocena „podbita” przez świetna atmosferę zajęć. W komentarzach czytamy:

„Merytorycznie konkretnie, dużo przykładów”
„Dynamiczne szkolenie angażujące wszystkich uczestników”
„Ogromne zaangażowanie”
„Świetny”

Może komentarz „świetny” nie spełnia standardów feedbacku, ale widzimy, że dla uczestników ważna jest wewnętrzna motywacja trenera/zaangażowanie, podawanie Dużej ilości przykładów i dynamiczne prowadzenie zorientowane na temacie. Ta informacja może wpłynąć na zamodelowanie przyszłego stylu danego trenera, gdyż silnie wzmacnia jego pragmatyczne podejście do zagadnień.

„Organizacja szkolenia”

Ostanie pytanie dotyczy samej organizacji szkolenia ocenionej przez 7 osób jako bardzo dobra i jedna jako dobra, tu komentarze są naprawdę oryginalne:

„Ciekawie szybko zleciał czas”
„zimno klima na Sali, brakowało czystych filiżanek, ciastka szybko wyszły, obiad słony”
„mieliśmy fajną grupę miło było pracować”
„dodatkowym atutem szkoleń w ……………… jest świetna atmosfera”

I znowu wychodzi nam emocjonalna ocena zwracająca uwagę nie tylko na merytorykę a na atmosferę. Czas zleciał szybko, i mieliśmy fajna grupę. Obiad rzeczywiście mógłby być lepszy, a ciastek zabrakło podczas jednej sesji szkoleniowej.

Przydatność tej ankiety oceniamy nisko ponieważ daje zaledwie trzy istotne informacje zwrotne. Oczywiście lepiej  zastosować jakąkolwiek niż żadną ale może jednak warto potrudzić się przez chwilę aby otrzymać wartościowe informacje od naszych uczestników.

Sylwester Pietrzyk
Trener Biznesu
Opracowane na podstawie „Vademecum Trenera II” wydawnictwo MATRIK 2012

01 Gru
Written by: Super User
Odsłony: 2292

EWALUACJA CZY WALIDACJA

Obserwowany ostatnio gwałtowny wzrost ilości szkoleń skłania do refleksji nad ich efektywnością a może, czasami jej brakiem. Dlatego zanim przejdziemy do dalszych konkluzji pozwolę sobie przybliżyć czytelnikom kluczowe pojęcia. Słowem który jest używany w terminologii szkoleniowej jako synonim efektywności jest ewaluacja, która została zdefiniowana przez L. Rae jako proces mierzenia zmian, jakie zaszły od początku procesu szkolenia aż do jego skutecznego zastosowania w miejscu pracy .

Podobnym słowem jest walidacja dotyczy ona jednak samego przebiegu szkolenia co czyni ją znaczeniem węższym. Zadaniem walidacji jest odpowiedź na pytanie czy szkolenie udało się, czy cele nauczania zostały osiągnięte (cel ogólny i cele szczegółowe)? Jaki jest poziom zadowolenia osób po samym szkoleniu?
Zasadnicza różnica pomiędzy walidacja a ewaluacją polega na tym, że działania ewaluacyjne dotyczą szerszego wpływu szkolenia na uczestników i organizację nawet do 6 miesięcy po szkoleniu, podczas gdy walidacja koncentruje się jedynie na efektywności samych zajęć w oderwaniu od szerszego kontekstu. Pozytywna ocena walidacyjna, czyli na przykład prawidłowo, zgodnie z programem poprowadzone szkolenie może się spotkać z negatywną ewaluacją, bo szkolenie nie przyniosło pozytywnego efektu dla organizacji, lub jego uczestnicy nie stosują w praktyce przyswojonej wiedzy.
Z praktycznego punktu widzenia szkolenie ma być przyjemne i pragmatyczne, dające dużo „narzędzi" i inspiracji do zastosowania w praktyce. W dalszej części artykułu zastanowimy się jak „to" zmierzyć.

POWODY NIE PRZEPROWADZANIA BADAŃ EFEKTYWNOŚCI

Można sobie zadać pytanie dlaczego nie przeprowadzamy badania efektywności szkoleń ? Lista powodów jest długa; po pierwsze ludzie odpowiadający za badanie skuteczności szkolenia nie wiedzą jak takie badanie przeprowadzić, po drugie jest pewien brak świadomości, że można w ogóle takie badanie przeprowadzić, koszt badania efektywności przewyższa korzyści jakie to badanie przynosi (zaawansowana metoda ROI) ostatnia kwestią jest pytanie co zrobić uzyskanymi wynikami szczególnie jeśli wyniki nie będą pozytywne.
Do przeprowadzenia skutecznego badania efektywności szkolenia wymagane jest nie tylko posiadanie wiedzy/narzędzi ale głownie zaangażowania szeroko pojętych grup interesów do których zaliczamy nie tylko trenera, uczestników, kierownika działu szkoleń ale dodatkowo zarząd/wyższe kierownictwo i bezpośredniego przełożonego uczestnika szkolenia.
Często okazuje się, że uzyskane wyniki badań nie są przez nikogo wykorzystywane i cała praca trafia ad acta. Czasami po prostu wychodzimy z założenia, że lepiej nie dotykać pewnych spraw lub przebywamy na poziomie nieświadomej niekompetencji.

KONSEKWENCJE NIE PRZEPROWADZANIA BADAŃ EWALUACYJNYCH

Myśląc w kategoriach ekonomicznych koszt źle poprowadzonego szkolenia to suma pieniędzy wydanych na samo szkolenie wraz kosztami odłączenia ludzi od stanowiska pracy. W rzeczywistości konsekwencje są dużo poważniejsze, ponieważ pomijamy takie aspekty jak zniechęcenie pracowników do udziału w kolejnych zajęciach oraz obniżenie ich motywacji. Jako osoba zlecająca szkolenie chciałbym wiedzieć co tak naprawdę się wydarzyło podczas zajęć. Brak przeprowadzonej oceny skutkuje również brakiem możliwości oceny trenera co jest szczególnie ważne przy rozbieżnej ocenie zajęć przez trenera i zleceniodawcę w połączeniu z niskimi wynikami w ankietach. Ponadto jeśli szkolenie poszło fantastycznie trudno będzie pokazać jak wielki sukces został odniesiony.
Brak oceny powoduję, że nie wprowadzamy zmian w programie szkolenia czy materiałach co przekłada się na powielanie już wcześniej popełnionych błędów. Co szczególnie istotne brak oceny uderza bezpośrednio w prowadzącego, który nie otrzymuje obiektywnej informacji zwrotnej od uczestników co uniemożliwia mu zmianę stylu pracy. Nie udało mi się znaleźć pozytywnych aspektów nie przeprowadzania ewaluacji.

CYKL BADANIA EFEKTYWNOŚCI SZKOLEŃ

Dla wielu „specjalistów" zarządzania zasobami ludzkimi ocena szkolenia to ankieta w pośpiechu, niedbale wypełniana na koniec zajęć przez uczestników. Zgodnie z metodologią przeprowadzania badań takie działanie jest jedynie cząstkowym badaniem walidacyjnym i jego skuteczność tak naprawdę bada jedynie reakcję emocjonalną uczestników na przeprowadzone zajęcia.
Zgodnie z zasadami planowanie oceny efektywności szkolenia powinno nastąpić w chwili definiowania celów i potrzeb szkoleniowych. Jeżeli zastanawiamy się nad celem szkolenia powinniśmy również przewidzieć narzędzia i sposób pomiaru osiągnięcia wyznaczonych „kluczowych wskaźników sukcesu"(KROK 1).
Kolejnym wyzwaniem jest zmierzenie poziomu wiedzy/kompetencji. uczestników przed szkoleniem (KROK 2). Jest to ważne bo wynik tego pomiaru posłuży nam za odnośnik do zbadania przyrostu wiedzy/kompetencji. Podczas szkolenia trener na bieżąco ocenia odbiór zajęć przez uczestników oraz poziom wykonywanych ćwiczeń (KROK 3), informacje na ten temat powinny znaleźć się w części opisowej raportu podsumującego szkolenie. Na koniec szkolenia zwykle przeprowadzamy testy sprawdzające poziom przyswojonej wiedzy lub obserwujemy demonstracje przyswojonych umiejętności (KROK 4). Podczas finału zajęć trener ustala wraz z uczestnikami plany indywidualnej działań co i kiedy konkretnie po szkoleniu zostanie wykonane. (KROK 5). Kolejne etapy dotyczą typowo działań ewaluacyjnych i jest średnio i długo terminowa ocena pracownika prowadzona przez kierownika liniowego w 6 i 12 miesięcznej perspektywie czasowej (KROK 6). Całość dobrze podsumować raportem, który będzie dokumentował zaistniałe procesy (KROK7).

PODSUMOWANIE

Badanie efektywności szkoleń nie jest łatwą sprawą, jednak korzyści przedstawione w artykule w pełni rekompensują wszystkie niedogodności. Co ważne patrząc z punktu widzenia uczestników, najwyższa wartością ewaluacji szkoleń jest jej cel nadrzędny, jakim jest stałe usprawnianie narzędzi rozwojowych i podnoszenie skuteczności procesów szkoleniowych w organizacjach.

Sylwester Pietrzyk

 

22 Lis
Written by: Super User
Odsłony: 1098

 

W związku z obowiązkiem zapewnienia środków na szkolenia pracowników w budżetach samorządów, przy jednoczesnym brakiem środków na ten cel wiele samorządów i organizacji staje przed wyzwaniem jakim jest model szkoleń kaskadowych.

W największym uproszczeniu szkolenia kaskadowe są prowadzone przez osoby zwykle nie zajmujące się na co dzień prowadzeniem zajęć a jedynie są czasowo oddelegowane do pełnienia funkcji szkoleniowca w pewnym określonym wąskim zakresie.
W praktyce przykładem takiego działania jest wysłanie na kurs mówiący o najnowszych zmianach w prawie osoby z wykształceniem prawniczym, z intencja nie tylko poszerzenia jej kompetencji ale głównie z myślą, że kursant odtworzy/przetransferuje/przeszkoli pracowników swojego urzędu/organizacji z ww. zagadnień.

Inną forma szkolenia kaskadowego jest wyselekcjonowanie i przygotowanie do prowadzenia szkoleń grupy osób, które przeprowadza szkolenia dla pracowników zwykle niższych szczebli, potem zaś ci pracownicy niższego szczebla szkolą kolejny szczebel pod sobą.

To co jest wspólne dla obu przedstawionych modeli to stopniowe, etapami przekazywanie wiedzy. Takie rozwiązanie posiada zarówno swoje wady, zalety oraz pewne ograniczenia. Największą zaletą szkoleń kaskadowych jest ich niska cena ponieważ są one wykonywane w ramach aktualnych obowiązków pracy.
Ważne jest, że osoby prowadzące zajęcia dokładnie znają specyfikę, potrzeby o raz wewnętrzne ograniczenia danej organizacji czy urzędu. Takie działanie przy zachowaniu pewnych zdroworozsądkowych założeń powinno pozwalać na rozwój nowych kompetencji trenerskich u pracowników zajmujących się wdrożeniem (tworzą one wartość dodaną i czynią pracownika „wartościowszym"). Ostatnim plusem jest tworzenie materiałów szkoleniowych, które wykonane przez pracowników urzędu w trakcie tworzenia podlegają weryfikacji przydatności na stanowiskach pracy.

Kaskadowe szkolenia wewnętrzne świetnie się sprawdzają w szkoleniach, ale tylko przy spełnieniu pewnych określonych założeń. Pierwszym jest unikalna, specyficzna wiedza przekazywana ww. trakcie szkolenia, które powoduje, że tylko pracownicy danej instytucji czy urzędu ja posiadają i tylko oni są kompetentni aby poprowadzić zajęcia.
Oprócz wiedzy osoby te powinny być silnie zmotywowane, nie oczekujmy, że nasi pracownicy ucieszą się na myśl o dodatkowym obowiązku wykonywanym w ramach dotychczasowych obowiązków i wynagrodzeniu. Najczęstszą motywacją jest dodatkowe wynagrodzenie co dewaluuję główną zaletę takich szkoleń jaka jest ich niski koszt.
Ważne jest aby osoby prowadzące takie szkolenie otrzymały solidne szkolenie dydaktyczne, np. szkolenie trenerskie (koszt) co wzmocni ich motywację i pozwoli na prawidłowe, efektywne prowadzenie zajęć. Pomimo całej specyfiki tego typu szkoleń dobór osób na stanowisko trenera w związku z realizowanym projektem nie powinien być przypadkowy. Do prowadzenia szkoleń trzeba posiadać pewne predyspozycje psychologiczne, których brak totalnie wyklucza z działania w tym obszarze. Między innymi, za kluczowa cechę trenerską uznaje się np. odporność na ekspozycje publiczną i kontrolowanie poziomu własnego stresu.
Załóżmy, że wydaliśmy pracownikowi działu księgowego polecenie służbowe poprowadzenia szkoleń na podstawie jego uczestnictwa w szkoleniu zewnętrznym. Być szkolonym a szkolić to diametralnie przeciwstawne działania. Jeżeli taka osoba nie będzie miała gotowości do publicznego wystąpienia to nie możliwym będzie oczekiwanie od niej poprowadzenia efektywnych zajęć. Nie wystarczy wskazać osoby, które maja zrobić szkolenie, trzeba się dobrze zastanowić się kto ma predyspozycje do tego typu działań.

Faktem jest, że ten model szkoleń nie da się zastosować do każdego typu zadań. Jeden z modeli oceny efektywności szkoleń weryfikuje zmiany zachodzące po zajęciach na poziomie
• Wiedzy
• Umiejętności
• Postawy.
Szkolenia kaskadowe świetnie sprawdzą się do przekazywania wiedzy, czasem umiejętności, lecz prawie nigdy postawy. Wynika to ze specyfiki prowadzonych zajęć, wiedza łatwo może być przekazana w formie chociażby wykładu, umiejętności można przećwiczyć na Sali szkoleniowej, ale zmiana postawy uczestników wymaga od prowadzącego dużej wiedzy i umiejętności trenerskiej.
Szkolenia kaskadowe świetnie sprawdzają się przy wdrażaniu oprogramowania komputerowego, często bardzo niszowego dla danej dziedziny czy urzędu. Przekazanie takiej wiedzy jest dość proste zarówno do wdrożenia jaki i oceny jego efektywności, ponadto nie jest wymagana tutaj praca na postawie uczestników. Dodatkowym atutem szkoleń kaskadowych jest to, że pozwalają na przeszkolenie dużej ilości osób w relatywnie krótkim czasie.

Niestety podczas szkoleń dzieją się często sytuacje przerastające kompetencje ich prowadzących. Na przykład prowadzący natrafia na znaczny opór grupy uniemożliwiający mu efektywne prowadzenie zajęć. Wtedy nawet doświadczeni trenerzy mieliby trudności a co dopiero tacy zaczynający swoja trenerska drogę.
Do skutecznego prowadzenia zajęć prowadzący powinien nabyć pewien bagaż doświadczeń pozwalający mu nie tyle na rozładowanie niebezpiecznej sytuacji i włączenie uczestników do pracy ale przede wszystkim zapobieżeniu jej powstania. Brak bądź nie właściwa reakcja na zachowanie grupy szkolonej może doprowadzić do całkowitego zdezintegrowania szkolenia.
Takie zdarzenie może się przydarzyć również doświadczonemu zewnętrznemu trenerowi, jednak prawdopodobieństwo wystąpienia jest niskie.

Podsumowując można uznać szkolenia kaskadowe za pewną tanią alternatywę dla dość kosztownych szkoleń zewnętrznych. Posiada ona dużo ograniczeń i ryzyko niepowodzenia jest bardzo wysokie. To ryzyko może być zminimalizowane choć nigdy się go nie da całkowicie wyeliminować.
Aby szkolenie kaskadowe przyniosło zamierzony skutek powinno zostać starannie zaplanowane, nadzorowane wspierane przez osoby posiadające wiedzę merytoryczną i specjalistyczna trenerską.
Możemy powołać zespół trenerski, który zostanie poddany szkoleniom metodycznie przygotowywujących jego członków do stawianych przed nimi zadań. Taki zespół wspólnie z kierownictwem przygotowuje zakres wiedzy wymagany do przekazania dla wszystkich poziomów zarządzania danym urzędem, instytucja czy organizacją. To właśnie na etapie planowania zapada decyzja nad zakresem poszczególny szkoleń. Zwykle na każdy niższy poziom przekazywany jest węższy zakres wiedzy, a jej charakter zmienia się z zarządczego na wykonawczy.
Prowadzenie zajęć wymaga stałego monitoringu, gdyż nawet drobna nieścisłości przekazywane kaskadowo szybko będą powiększały swój rozmiar mogąc nawet zniweczyć sukces całego przedsięwzięcia. Monitoring obejmuje także pojawianie się sytuacji nie przewidzianych krytycznych, pytań na które nie są znane jeszcze odpowiedzi. Dzięki ścisłemu nadzorowi szkolenie powinno na bieżąco ewoluować tak aby jak najbardziej spotykać się z potrzebami jego uczestników i celami organizacji.
Każdy z trenerów powinien przejść procedurę wdrożenia polegającą n szkoleniu trenerskim, szkoleniu merytorycznym oraz superwizje, czyli obserwacji połączonej z konstruktywna informacja zwrotna ocenie prowadzenia zajęć. Gdy podsumujemy koszt tych wszystkich działań okaże się, że jeśli chcemy to zrobić dobrze naszym siłami to okaże się, że koszty sa podobne, za to naszym zyskiem jest inwestycja we własna kadrę trenerska i możliwość korzystania z niej przy kolejnych projektach
Kosztem po stronie pracodawcy jest również „zajętość" pracownika do prowadzenia szkoleń w czasie, gdy posiada on swoje aktualne obowiązki.

Same szkolenia kaskadowe lub same zewnętrzne nie tworzą skutecznej polityki szkoleniowej, ale połączenie obu tych rodzajów zajęć daje różnorodność tak oczekiwaną prze naszych uczestników.

Sylwester Pietrzyk