Gość: Madonna
IP: *.tpnet.pl / *.tpnet.pl
01.10.04, 14:21
Analiza Rankingu Szkół Językowych Newsweeka
Piotr Steinbrich
Niniejszy artykuł ma na celu analizę ankiety wysyłanej do szkół językowych,
na podstawie której tygodnik Newsweek opublikował Ranking Szkół Języka
Angielskiego w numerze 39/2004. Analiza ta jest próbą odpowiedzi na pytanie
czy i do jakiego stopnia ankieta była rzetelnym narzędziem oceny jakości
procesu dydaktycznego w szkołach językowych. Jest ona również próbą
odpowiedzi na szereg kontrowersyjnych pytań oraz zarzutów w stosunku do
rankingu, bądź to na forum internetowym Newsweeka, bądź to podczas
zorganizowanego przez tygodnik czatu, w którym na pytania osób
zainteresowanych odpowiadali redaktorzy Newsweeka odpowiedzialni za efekt
końcowy rankingu.
W artykule poprzedzającym ranking autorzy napisali, że pytania
podzielono na pięć kategorii: charakterystyki szkoły, kadry, wyposażenia,
procesu dydaktycznego oraz studentów. Kategorie te były punktowane
odpowiednio: szkoła - 15 punktów, kadra - 42 punkty, wyposażenie - 10
punktów, proces dydaktyczny - 21 punktów, studenci - 20 punktów. W sumie
szkoła mogła otrzymać maksymalnie 108 punktów. Po wysłaniu ankiety do firmy
zajmującej się procesowaniem danych, część szkół (ok. 20%) została
zweryfikowana przez anonimowych ankieterów udających potencjalnych klientów.
W przypadku, gdy dane podane w ankiecie nie zgadzały się ze stanem
rzeczywistym, szkoła taka nie została uwzględniona w rankingu. Stąd
najprawdopodobniej ilość szkół uczestniczących w ankiecie podanych w artykule
wstępnym (364) nie zgadza się ze stanem rzeczywistym (340 faktycznie
uwzględnionych w rankingu). Odpowiedzi udzielane przez szkoły były punktowane
przez zespół niezależnych metodyków z Ministerstwa oraz szkół wyższych
(informacja ta została podana przez redaktorów Newsweeka podczas czatu).
Spróbujmy teraz przyjrzeć się pytaniom zawartym w ankiecie.
Szczególną uwagę poświęcimy na przeanalizowanie aspektów dotyczących
trafności i rzetelności poszczególnych zagadnień, czyli atrybutów zwykle
przypisywanych testom. Z grubsza rzecz ujmując, chodzi o to, na ile test, a w
naszym przypadku ankieta, sprawdza to, co ma sprawdzać, oraz na ile
miarodajne są jej wyniki.
Część pierwsza - charakterystyka placówki
W części tej znajduje się jedenaście pytań, część o charakterze
czysto informacyjnym, część to tak zwane pytania punktowane, czyli te, za
które szkoły mogły zyskać lub stracić punkty. Skoncentrujemy się na drugim
typie pytań, czyli na pytaniach punktowanych.
Pytanie 4: Czy szkoła posiada filie, przedstawicielstwa?
Pytanie 5: Jeżeli tak, to proszę podać ich liczbę.
Pytania te promują duże szkoły, tzw. sieciówki. Autorzy ankiety
najprawdopodobniej wyszli z założenia, że im szkoła większa, tym lepsza.
Szkoły mniejsze, które być może z założenia nie chcą otwierać filii, czy to
ze względów organizacyjnych, czy to przez przywiązanie słuchaczy do danego
miejsca, zostały programowo ukarane przez nieotrzymanie punktów. W tym
miejscu należy stwierdzić rzecz oczywistą, że to nie ilość filii świadczy o
jakości świadczonych usług. Zarówno szkoły sieciowe z dużą ilością filii, jak
i te małe świadczą usługi na różnych poziomach, o czym zapewne wiedzą
słuchacze, którzy, wybierając daną szkołę, kierują się całą gamą kryteriów,
do których ilość filii czy przedstawicielstw raczej się nie zalicza. Można tu
spekulować o dostępności szkoły dla potencjalnego słuchacza (im więcej filii
tym większa dostępność), ale w takim przypadku można by się pokusić również o
sprawdzenie ilości połączeń autobusowych, tramwajowych lub trolejbusowych do
każdej placówki, zbadanie jaki dystans dzieli statystycznego słuchacza od
miejsca zamieszkania do szkoły, czy szkoła ma parking, itp. Jest to
oczywiście absurd pociągnięty do granic możliwości, ale podobnym absurdem,
niestety, wydaje się punktowanie ilości filii czy placówek.
Pytanie 6: Proszę podać, od ilu lat działa szkoła
W tym pytaniu, szkoła zaznaczała jedną z czterech odpowiedzi:
- od 1 roku do 2 lat
- dłużej niż 2 lata - do 5 lat
- dłużej niż 5 lat - do 10 lat
- dłużej niż 10 lat
Newsweek zastrzegł sobie, że szkoły, które działają krócej niż rok i
zatrudniają mniej niż trzech lektorów zostały wykluczone z rankingu. Jest to
działanie zrozumiałe i przesłanie jest czytelne - macie za mało doświadczenia
i was nie chcemy. Zbudujcie sobie markę i do zobaczenia za rok. Niemniej
jednak w rankingu znalazły się szkoły, które na rynek dopiero wchodzą, czyli
zaczynają zajęcia z początkiem obecnego roku szkolnego. Poddaje to w
wątpliwość jakość procesu weryfikacji szkół przez sopocką agencję, a w
rezultacie wyniki całego rankingu. Ale wróćmy do naszego pytania. Rozum
podpowiada, że szkoły znajdujące się na rynku dłużej przetrwały próbę czasu i
warto im za ten fakt dać parę punktów. Niby prawda, ale jednak... Wyobraźmy
sobie sytuację, że istnieje na rynku szkoła X, która od początku swojej
działalności, czyli od dwóch i pół roku, radzi sobie jako tako. Plasuje ją to
w drugim zakresie (od dwóch do pięciu lat) i dzięki temu szkoła zdobywa
jakieś punkty. Z drugiej strony, mamy szkołę Y, która wprawdzie działa na
naszym rynku krócej niż dwa lata (dostaje mniej punktów), ale która ma
doświadczenie na rynkach innych krajów europejskich, na których to działa już
od ponad pół wieku. Szkoła ta zatrudnia dyrektora, który się sprawdził,
powiedzmy w Hiszpanii, oraz wybitnych metodyków i nauczycieli, których
podkupiła drogą headhuntingu z innych szkół, kusząc ich wyższymi zarobkami,
atrakcyjnymi szkoleniami, lepszymi warunkami pracy, itp. Która więc jest
lepsza, X, czy istniejąca krócej Y? Otóż nie wiadomo, bo fakt istnienia na
rynku przez jakiś okres czasu nijak nie przekłada się na jakość procesu
dydaktycznego, a właśnie jakość powinna być clou rankingu. Jak ocenić (według
kryterium wieku) szkołę, która działa 10 lat (trzeci zakres), a jak taką,
która prowadzi kursy językowe od lat 11 (czwarty zakres)? Czym się te szkoły
różnią? Po co w ogóle to punktować?
Pytanie 7: Proszę podać liczbę grup językowych, które w ubiegłym roku miały
zajęcia w Państwa szkole.
W tym pytaniu mamy podane trzy zakresy, z których wybieramy jeden.
Pierwszy to 1-5, drugi 6-10, a trzeci powyżej 10. Podobnie, jak w przypadku
Pytania 6, nasuwa się myśl, że im więcej grup tym więcej punktów. Niestety,
ci, którzy z zarządzaniem szkół językowych mają cokolwiek wspólnego, wiedzą,
że nie jest to takie proste. Po pierwsze, fakt posiadania 10 (zakres drugi)
czy 11 grup (zakres trzeci) nie odzwierciedla żadnych różnic, a punkty lecą.
Po drugie, zakres trzeci jest, delikatnie rzecz ujmując, nieostry. Tu z kolei
różnica pomiędzy jedenastoma grupami a, dajmy na to, sześćdziesięcioma jest
już olbrzymia. I nie w ilości tkwi problem, tylko w tym, jak te 11 czy 60
grup jest zarządzanych. Można to zweryfikować na przykład przez zbadanie
struktury szkoły (np. ilość DOSów przypadających na poszczególne grupy, czy
ilość tzw. senior teachers - starszych wykładowców, sprawujących opiekę nad
nauczycielami z mniejszym bagażem doświadczeń). W takim przypadku jest
możliwość sprawdzenia, czy ilość przechodzi w jakość, ponadto przestajemy
bezmyślnie szafować punktami. Wprawdzie taka propozycja burzy koncepcję
podziału ankiety na pięć kategorii, o których była mowa wcześniej, należy
jednak postawić sobie podstawowe pytanie, co ma czemu służyć: czy ankieta ma
weryfikować jakość nauczania w poszczególnych szkołach, czy może ma być
łatwym w obsłudze narzędziem, której wyniki są mało miarodajne i w rezultacie
niczemu nie służą. Kolejny pajacyk.
Pytanie 8: Czy w Państwa szkole jest podział na grupy wiekowe?
Pytanie 9: Jeżeli TAK, to proszę określić, jakie grupy wiekowe kształciła
Państwa szkoła.
O ile Pytanie 8 jest klarowne (wypełniający zaznacza jedną z trzech
odpowiedzi: tak, nie, nie wiem), to Pytanie 9 nasuw
