Badanie kompetencji on-line

Poniżej zamieszczam mój artykuł o badaniach kompetencji online opublikowany w serwisie EPALE.

Czy pandemia zmieni zasady badania kompetencji? Czy możliwe jest przeprowadzanie sesji AC/DC on-line?

W czerwcu 2021, na popularnej grupie trenerskiej w portalu Facebook, miała miejsce zażarta dyskusja o tym, czy możliwe jest organizowanie sesji badania kompetencji assement/developement center w formie zdalnej. Dyskutanci podzielili się na dwa obozy; jedni bronili kanonu podejścia AC/DC, w którym kluczowa jest obecność asesorów oraz dyskusja między nimi – inni stali na stanowisku, że w pandemicznym świecie pracy zdalnej i hybrydowej jest już możliwa ocena kompetencji metodą AC/DC w inny sposób. „Skoro lekarz może postawić diagnozę przez Internet, to czemu nie dałoby się diagnozować kompetencji”?

Badanie kompetencji było wyzwaniem jeszcze przed czasem pandemii. Dlaczego? Często badanie kompetencji mylone jest z kwestionariuszami badania osobowości. Istnieje szereg narzędzi papierowych i on-line, których procedura badawcza polega na ustosunkowaniu się do szeregu twierdzeń. Tymczasem, według współczesnych ujęć, kompetencje definiuje się jako współdziałające trio wiedzy, postawy (czasem nazywanej w tym kontekście motywacją) oraz umiejętności. Takie podejście oznacza, że nie powinniśmy badać deklaracji działania czy suchej wiedzy, ale rzeczywiste sytuacje, w których ktoś, poprzez swoje działania, rzeczywiście „ujawnia” wykorzystanie danej kompetencji. Za przykład może posłużyć sortowanie śmieci. Aby udowodnić posiadanie takiej kompetencji, dana osoba powinna: mieć wiedzę o zasadach sortowania śmieci  -> aby umieć prawidłowo sortować śmieci -> aby, rzeczywiście dokonywać czynności sortowania śmieci.

^{Photo by Nareeta Martin on Unsplash}

Można uznać, że jeśli robi to okazjonalnie, np. nie ma innej możliwości, to ma stosunkowo niskie natężenie tej kompetencji, a jeśli sortuje przy każdej możliwej okazji, nawet gdy jest to niewygodne i trudne – cechuje ją wysokie natężenie kompetencji. Nie jest więc tak istotne JAK oceniamy kompetencje tylko, CO oceniamy.

Wrzucając w wyszukiwarkę frazę „badanie kompetencji”, uzyskamy najprawdopodobniej wyniki, które można by podzielić na trzy grupy. Pierwsza to wszelakie testy i proste symulacje online polegające na wybraniu najbliższej odpowiedzi z zadanej kafeterii. Co możemy badać w ten sposób? Cechy osobowości (jeśli jest to certyfikowane narzędzie psychometryczne), które mogą powiedzieć coś o predyspozycjach do pracy, lecz nie o kompetencjach. Do pewnego stopnia można w taki sposób mierzyć również postawy oraz deklaracje umiejętności. Jeśli kafeteria dotyczy, na przykład, uszeregowania czynności, według ich priorytetów, możemy dowiedzieć się, jak dana osoba postrzega priorytety oraz czy posiada umiejętność ich prawidłowego określenia. Czy w taki sposób będzie prioretyzowała zadania w codziennej pracy czy działalności? Tego nie wiemy. Testy i kwestionariusze online występują zarówno w wersji papierowej, jak i online.

Druga grupa to scenariusze wywiadów kompetencyjnych. Wywiady można prowadzić zarówno bezpośrednio, jak i zdalnie. Z łatwością wyobrażam je sobie również przeprowadzane przez boty. Wywiad kompetencyjny ma tę przewagę nad kwestionariuszami, że właściwie poprowadzony, może być mniej deklaratywny i życzeniowy niż odhaczanie odpowiedzi w teście. Wykorzystując, na przykład model STAR, doświadczony rekruter czy badacz, jest w stanie, w większym stopniu, ocenić, na ile postawa czy umiejętności są deklarowane, a na ile jest szansa, że będą używane. Właściwie zadane pytania otwarte, przywołanie sytuacji czy specyficznych kontekstów szybko ujawnia, czy kandydat zbytnio nie mija się z prawdą w swoim CG.

Trzecia grupa to „królowa” metod badania kompetencji czyli assesment/developement center, dotychczas uważana za najbardziej trafną i rzetelną metodę. Dlaczego? Jako jedyna umożliwia sprawdzenie kompetencji w działaniu. Uczestnicy biorą udział w szeregu aktywności, „scenek”, ćwiczeń czy gier i są w tym czasie obserwowani przez wykwalifikowanych asesorów lub asesorki. Badane kompetencje zamienione są na wskaźniki behawioralne, a rolą asesora jest je wyłapać i zwalidować.

AC/DC obwarowane jest szeregiem zasad (*), na przykład, jedna osoba jest obserwowana przez więcej niż jednego asesora, istnieje limit kompetencji możliwych do oceny danego dnia, itd. przez co metoda AC/DC jest bardzo droga w wykorzystywaniu i długo była możliwa jedynie „na żywo”. Jednak jej skuteczność kusi, dlatego podejmowane są próby przeniesienia jej do wersji on-line. Wydaje się to możliwe poprzez np. nagrywanie sytuacji i zdalną jej ocenę przez asesora.

Wyobrażam sobie również AC/DC z wykorzystaniem VR. Podejmowane są również próby uzyskania podobnych wyników trafności i rzetelności co AC/DC z wykorzystaniem innych metod, na przykład gier. Gry szkoleniowe, od dawna są wykorzystywane w sesjach AC/DC na żywo, więc wykorzystanie ich wariantów on-line, napędzone przez pandemię wydaje się realne. Pojawiają się również gry komputerowe dedykowane pomiarowi kompetencji (w Polsce np. linia gier Competence Game). Mają one tę przewagę nad wykorzystaniem gier online w AC/DC, że to komputer pełni rolę asesorów a w grze można zawrzeć znacznie więcej wskaźników do obserwacji. Oczywistym jest, że żywy asesor, obciążony błędami poznawczymi i pracujący w wielkim skupieniu może profesjonalnie oceniać 1-2 wskaźniki na raz. Algorytm komputerowy tak się nie męczy, więc jego wykorzystanie może być łatwiej skalowalne, a przez to tańsze. Jednak dużą wadą jest brak empatii komputera.

Miałam możliwość wzięcia udziału w projekcie badawczym Instytutu Badań i Rozwoju IOCUS, w którym ta sama grupa uczestników brała udział w tradycyjnej sesji DC (z wykorzystaniem gier szkoleniowych), a następnie w ocenie kompetencji on-line. Choć wyniki wychodziły podobnie, część uczestników nie ufała wynikom „bezdusznej gry” i nie wierzyła, że może być dobrze oceniona przez algorytm komputerowy. Była też grupa o przeciwnych preferencjach – w grze komputerowej zachowywali się bardziej naturalnie niż w trakcie obserwacji uczestniczącej i uważali, że przez to, ich ocena jest rzetelniejsza.  Na pewno wiele zależy od kontekstu kulturowego, społecznego oraz od badanych kompetencji. Jednak rzeczywistość w której „obserwują” i „oceniają” nas komputery będzie coraz powszechniejsza. Nie jesteśmy wolni od lęków, zasianych nam przez filmy s-f o komputerach przejmujących świat jednak warto podejść do tematu z otwartością, ponieważ „ocena” przez komputer może posiadać bardzo wiele zalet (np. – o ile dobrze zaprogramowania – być wolna od stereotypów). Dlatego stoję po stronie tych, którzy uważają, że metody oceny kompetencji online są jak najbardziej możliwe, a w niektórych sytuacjach lepsze niż na żywo. Czyli klasycznie: to zależy 🙂

Agnieszka Leśny – Certyfikowana partnerka Competence Game

(*) Polecam artykuł Guidelines and Ethical Considerations for Assessment Center Operations https://journals.sagepub.com/doi/pdf/10.1177/0149206314567780