Gdula - to be continued

[pan.toranaga]

naukawpolsce.pl/aktualnosci/news%2C103778%2Cwiceminister-nauki-nowy-system-ewaluacji-czasopism-naukowych-od-1-stycznia
"Pierwsze przymiarki związane z tym rozporządzeniem szły w tym kierunku, by stworzyć dwa koszyki. Jeden - koszyk nauk ścisłych, nauk o życiu i nauk technicznych - miał być oceniany wyłącznie parametrycznie. Drugi koszyk - nauki humanistyczne, teologiczne i społeczne - miały być oceniane wyłącznie ekspercko" - opisał Maciej Gdula. Dodał, że zgłoszono jednak wiele uwag, "aby uwzględniać polskie czasopisma także w naukach technicznych". Dlatego ostatecznie "koszyk ekspercki do [oceny - przyp. PAP] nauk ścisłych, o życiu i technicznych, będzie miał prawdopodobnie ograniczenia punktowe, aby uwzględnić międzynarodowy wymiar nauki w tych dziedzinach".
Wiceszef resortu nauki zauważył, że obecnie "zasady ewaluacji wyglądają na pierwszy rzut oka tak, jakby obejmowały różne wymiary funkcjonowania uczelni. Ale nie działają w ten sposób".

"Niby mamy trzy kryteria ewaluacyjne, a publikacje są tylko jedną z nich. Jest też kryterium powiązania z otoczeniem zewnętrznym i wpływ społeczny. W praktyce jednak to pierwsze kryterium 'zjadło' pozostałe i cała działalność naukowa skoncentrowana jest na osiągnięciach publikacyjnych. Kiedyś, jak się spotkało dwoje naukowców - rozmawiali o tym, co napisali. Dziś rozmawiają, gdzie opublikowali i za ile punktów. Nie sądzę, żeby to był dobry kierunek rozwoju nauki" - ocenił.


Primo: nawet nie liczę na odzew PT Kolegów. Uodporniliśmy się na te informacje. Ewaluacja od czasów Kudryckiej pokazała jak głęboko prawdziwe jest powiedzonko "Jeszcze nigdy tak nie było, żeby jakoś nie było".
Secundo: oba akapity pokazują, że przesuwamy się od obiektywnych ocen ku subiektywnym. Obiektywny - nie muszę uczonym tego tłumaczyć - nie zawsze znaczy prawdziwszy, a jedynie niezależny od podmiotu poznającego. Tyle, że podmiot poznający nie tyle chce się dowiedzieć, ile uzyskać jakiś efekt.

[trzy.14]

Obawiam się, że wiceminister nie do końca wie, o czym mówi.

Po pierwsze, kryterium pierwsze w wielu dyscyplinach zostało zasadniczo zaburzone przez wrzucenie do niego niemal nieograniczonej liczby patentów - w tym krajowych. Patenty (dodajmy: niewdrożone) w niektórych jednostkach stanowiły nawet o 20% wyniku końcowego, co przy naturalnej zmienności wyników publikacyjnych na poziomie 5-10% jest wpływem fundamentalnym.

Po drugie, same publikacje, prawdopodobnie na skutek funkcjonowania przez dziesięciolecia w wyrównującym poziom centrali i głubinki systemie hab-prof, są dość słabym czynnikiem różnicującym polskie jednostki naukowe. W wielu przypadkach różnica między wynikiem jednostki pierwszej a, powiedzmy, 10., nie przekracza 10%.

Po trzecie więc, o ostatecznych kategoriach najczęściej decydowały wyniki w kryterium II (przepalanie kasy) i III (malowanie impaktem społecznym trawy na zielono). Tym bardziej, że za kryteria II i III można było dostać punkty ujemne (i większość jednostek dostawała, w porównaniu z jednostką referencyjną A, dokładnie minus 10%). Stąd waga każdego z nich wynosiła nie 10%, a w praktyce 20%. Jak to się wszytko do siebie doda, to wyjdzie, że akurat publikacje były w tej ewaluacji najmniej istotne (zwłaszcza że kadra zarządcza jednostki ma niewielki wpływ na ich liczbę i "prestiż").

[dobrycy]

trzy.14 napisał:

> Po trzecie więc, o ostatecznych kategoriach najczęściej decydowały wyniki w kry
> terium II (przepalanie kasy) i III (malowanie impaktem społecznym trawy na ziel
> ono). Tym bardziej, że za kryteria II i III można było dostać punkty ujemne (i
> większość jednostek dostawała, w porównaniu z jednostką referencyjną A, dokładn
> ie minus 10%). Stąd waga każdego z nich wynosiła nie 10%, a w praktyce 20%.
> Jak to się wszytko do siebie doda, to wyjdzie, że akurat publikacje były w tej
> ewaluacji najmniej istotne (zwłaszcza że kadra zarządcza jednostki ma niewielki
> wpływ na ich liczbę i "prestiż").

To jest też konsekwencja dyskretnych poziomów energetycznych publikacji. Nie mają
widma ciągłego (wiadomo, stan mamy związany) tylko skwantowane wartości 200, 140, 100
itp punkty. Wpływ społeczny mógłby być mierzony np. ilością publikacji w GW (czy też za PISu
w do rzeczy), wtedy łatwiej byłoby obiektywnie liczyć. Wiadomo coś o nowym rozdaniu
uczelni badawczych? Tam oceny dokonywali eksperci z zewnątrz.

[trzy.14]

dobrycy napisał:

> Wiadomo coś o nowym rozd
> aniu
> uczelni badawczych? Tam oceny dokonywali eksperci z zewnątrz.

Zdaje się że na półmetku wszystkie IDUB-y zdały celująco. A że stoją za tym zagramaniczni eksperci, to program będzie sobie mógł w spokoju zgnić za kilka lat na wolnym powietrzu*.

* Generalnie IDUB to taki bardzo uproszczony NCN. Nie miałbym nic przeciwko temu, żeby wszystkie polskie uczelnie, a przynajmniej ich większość, miały fundusze na podobne programy. W sensie, żeby miały choćby minimalną poduszkę finansową pozwalającą finansować lokalne projekty naukowe.

[dobrycy]

Istnieją sąsiadujące z PL kraje gdzie są środki unijne, na poziomie rejonów na projekty badawcze, dzięki czemu tamtejszy Wąchock nie konkuruje ze stolicą o te projekty. Tłumaczy się to tym, że kasa podatników
powinna do nich wrócić.

[pan.toranaga]

>W wielu przypadkach różnica między wynikiem jednostki pierwszej a, powiedzmy, 10., nie przekracza 10%

:-o
Mimo, że robiłem ileś wykresików, to mi umknęło. Z drugiej strony w biegach różnica między złotym medalistą, a tym, który zajmuje 10 miejsce to jakiś ułamek sekundy. W zasadzie gdyby mierzyć czas ręcznie, to pewno to by było w granicach błędu pomiaru. A jednak się nie zdarza, żeby ten z 10 miejsca dostał złoty medal. Złoty medalista może za rok być srebrnym albo brązowym, ale raczej nie dzisiątym. Czy więc te 10% to nie szum, ale rzeczywiście to, co różni UWUJUAMUWrPWAGH od - brzydko powiem - tła?
Inna rzecz, że ostatnia parametryzacja pokazała, że to 10% jest na niekorzyść UWUJUAMUWrPWAGH, a na korzyść Zielonej Góry, więc po zmianie reguł gry, moje porównanie jest do niczego.
Lepsze pytanie, co o tych 10% decyduje? (pytanie w próżnię, bo przecież Wy tego nie wiecie). Jeden złoty strzał, czyli 53 autor papiera w Science, kilka 70tek zamiast 40tek (w STEM przeskalować), czy wreszcie brak n-zerowiczów, czy prawie n-zerowiczów (np. 2 sloty a 20 kudryków) - jak to było na historii UJ, por. artykuł cytowany przez prof. Wiszewskiego. Innymi słowy kilku złotych cielców, czy kilku szarych osłów, czy oba na raz?

[trzy.14]

To może dodajmy, że w kryterium II i III różnica między jednostką pierwszą a dziesiątą może być taka, jak między 10 milionami a 100 tysiącami. Albo między wybitnym wpływem społecznym, o znaczeniu międzynarodowym i w dodatku uzyskanym w wyniku badań interdyscyplinarnych (120 punktów) a wpływem lokalnym, średnio wybitnym, nieinterdyscyplinarnym (strzelam - 30 punktów).

A mimo tego kryteria I, II i III rankingowano w ten sam sposób, tym samym algorytmem!

W biegach kryteria są w jakiś sposób obiektywne: tam co najwyżej można bardziej lubić tor wewnętrzny lub zewnętrzny, ale zasady są proste: biegniesz co tchu w płucach. Tu zaś mamy reguły "obiektywne" ustalane przez "mędrców", którzy doskonałość naukową wzorowali na przykładzie własnym (jakże inaczej znaleźliby się w gronie osób ustalających te zasady?) i swoich jednostek naukowych (patrz wyżej).

Klasyczne pytanie, na które od 20 lat nikt nie znalazł odpowiedzi, więc te odpowiedź wymusza się nagą silą, dotyczy uwzględniania wkładu do dzieł zbiorowych: czy współautorowi 5-stronicowego artykułu mającego 5 tysięcy autorów należy się całe 200 punktów, czy może jakiś ułamek (np. 10%) tych 200 punktów, a może tylko 1/5000 z tych 200 punktów? Jeśli mnie pamięć nie myli, każda z tych odpowiedzi była realizowana w którejś z naszych ewaluacji. I każda z nich całkowicie ustawia wyniki ewaluacji, a w konsekwencji, lokalną (=uczelnianą) hierarchię "ważności" naukowców.

Obiektywna odpowiedź na powyższe pytanie nie istnieje, gdyż albowiem wymaga ona poczynienia dodatkowych założeń, których sumę można nazwać polityką naukową państwa. Innymi słowy, ewaluacja obraca się w ramach teorii niepełnej, tymczasem opinia publiczna (i ministerstwo) traktuje ją jak teorię pełną niczym termodynamika klasyczna.

No i teraz skąd te 10% różnicy? A choćby stąd, że istnieją jednostki, w których liczba grantów wszelakich jest większa od liczby pracowników naukowych i takie, w których jest okrągła jak zero. Gdzie skutek a gdzie przyczyna, a gdzie sprzężenie zwrotne - to już pytanie na inną dyskusję. Podobnie jak na pytanie, gdzie praca wyłącznie naukowa, a gdzie także - dorabianie.

Inną przyczyną, ściśle związaną z poziomem finansowania, jest poziom współpracy międzynarodowej. Jak się ma trochę mamony, to można na jej podstawie budować związki z zagranicą. Oni też mają swoje ewaluacje, hierarchie, oceny okresowe. I my, i oni publikacje wspólne liczymy w takich sytuacjach, jak byśmy byli ich jedynymi autorami.

Wszystko zaś rozbija się o uzasadnienie, że odwzorowanie artykułu / książki na punkty, które następnie się jakoś sprytnie dzieli, pierwiastkuje i sumuje, w ogóle ma sens. Co innego praca przeglądowa, co innego dowód twierdzenia, które opierało się dowodowi przez 100 lat, co innego dowód twierdzenia, które niczego nowego do matematyki nie wnosi, (po prostu kolejny fakt), co innego przygotowany w dużym zespole raport dotyczący efektywności jakiejś terapii, co innego raport z badań, które doprowadziły do opracowania technologii żarówek LED, co innego raport z wielkiego eksperymentu fizycznego wymagającego zaangażowania sprzętu o wartości liczonej w miliardy dolarów, co innego badania nad jakimś nowym znaczeniem/kontekstem latopisów kijowskich, co innego wieloletnie badania nad zmiennością flory wielkopolskich łąk. A jeszcze co innego kolejna publikacja zawierająca standardowe badania ankietowe albo symulacje "nowego" modelu, bo ja wiem, zachowań stadnych (wyjaśniam społ-humom: tzw. modelarstwo polega na wymyśleniu modelu, "rozwiązaniu go" komputerem programowanym przez studenta studiów licencjackich, a następnie opublikowaniu wyników, przy czym najważniejszą częścią modelarstwa jest uzasadnienie, że ten model naprawdę dotyczy jakiegoś konkretnego zjawiska - w tej właśnie kolejności, od abstrakcyjnego modelu do uzasadnienia, że badanie go miało jakikolwiek sens - przy odpowiedniej wprawie i dostatecznie sprawnej spółdzielni gwarantowane 140 punktów co pół roku lub częściej). Pomijam tu kompletne patologie w rodzaju tych zarzucanych Królczykowi czy zwykłe oszustwa (fabrykacja danych, plagiaty itp.). Chociaż nie, nie pomijam. Królczyk sam jeden wywindował Politechnikę Opolską na szczyty światowych rankingów.

[dobrycy]

trzy.14 napisał:

>
> Klasyczne pytanie, na które od 20 lat nikt nie znalazł odpowiedzi, więc te odpo
> wiedź wymusza się nagą silą, dotyczy uwzględniania wkładu do dzieł zbiorowych:
> czy współautorowi 5-stronicowego artykułu mającego 5 tysięcy autorów należy się
> całe 200 punktów, czy może jakiś ułamek (np. 10%) tych 200 punktów, a może tyl
> ko 1/5000 z tych 200 punktów? Jeśli mnie pamięć nie myli, każda z tych odpowi
> edzi była realizowana w którejś z naszych ewaluacji. I każda z nich całkowicie
> ustawia wyniki ewaluacji, a w konsekwencji, lokalną (=uczelnianą) hierarchię "w
> ażności" naukowców.

To jest taki sam problem jakby w każdej szkole każdy nauczyciel miał tak samo oceniać uczniów.
Z matematyki można zrobić testy, ale rozprawke z polskiego ciężko tak ocenić.
Ta cała punktacja to nic innego jak ocena w szkole przeniesiona szczebel wyżej.
Z ta różnicą, że zwykle uczęń jak współpracował przy zadaniach domowych to obrywał
a tu jest na odwrót. Nie da się na raz spełnić warunków:
- ocena ma być realna do wykonania i w miare szybka
- nauka ma służyć do odkrywania nowych rzeczy a nie klepania w kółko tego samego
- jedna skalarna wielkość monotonicznie związana ze średnią ilościa cytowań i zasada dziedziczenia prestiżu
prowadzi do tego wszystko się nagina do dyscyyplin gdzie obowiązuje popularność a nie rezultaty, opłaca się
zmyślać i oszukiwać


Poza tym kto jest większym naukowcem, taki co ma w ciągu roku 2 prace za 140 punktów czy taki
co ma jedną za 200? A co jeśli ten za 200 został z grzeczności dopisany? Albo zapłacił z grantu
(np. pośrednio - kupił próbki do badań)?

[dobrycy]

pan.toranaga napisał:

> Primo: nawet nie liczę na odzew PT Kolegów. Uodporniliśmy się na te informacje.
> Ewaluacja od czasów Kudryckiej pokazała jak głęboko prawdziwe jest powiedzonko
> "Jeszcze nigdy tak nie było, żeby jakoś nie było".
> Secundo: oba akapity pokazują, że przesuwamy się od obiektywnych ocen ku subiek
> tywnym. Obiektywny - nie muszę uczonym tego tłumaczyć - nie zawsze znaczy prawd
> ziwszy, a jedynie niezależny od podmiotu poznającego. Tyle, że podmiot poznając
> y nie tyle chce się dowiedzieć, ile uzyskać jakiś efekt.
No o ile pamiętam ocena humanistów w czasach przedkudryckich była obiektywna -
liczyły się arkusze wydawnicze czyli kilogramy publikacji.

Potem nastały punkty, czyli polędwiczke zaczęto cenić bardziej płucko.
Tarfikator był różny, czasem coś związane z impakt faktorem a czasem opinią ekspertów.
Teraz wyobrażam sobie, że na stronach uczelni możnaby zrobić koło każdego pracownika w usosie
oprócz listy publikacje również łapki w góre i łapki w dól. Kto z grantu kupiłby więcej
hindusów klikających łapki w górę byłby większym uczonym

[trzy.14]

dobrycy napisał:

> Kto z grantu kupiłby więcej hindusów klikających łapki w górę byłby większym uczonym

Ha, ha, ha!

[pan.toranaga]

>> Kto z grantu kupiłby więcej hindusów klikających łapki w górę byłby większym uczonym

I ja się turlam ze śmiechu.

[pan.toranaga]

>No o ile pamiętam ocena humanistów w czasach przedkudryckich była obiektywna -
liczyły się arkusze wydawnicze czyli kilogramy publikacji.

Dopiero teraz zauważyłem pierwszy akapit. Muszę gorąco zaprotestować. Liczyły się nie arkusze, ale okładka. Prawdziwą naukę poznawało się po tym, że miała osobną okładkę czyli była drukiem zwartym. W przeciwieństwie do przyczynkarstwa, które drukiem zwartym nie było i nie dysponowało odrębną okładziną, lecz dzieliło ją z innymi przyczynkami.

[dobrycy]

Hmm, mówi się że przysłowia są mądrością narodu. A mamy przysłowie - nie oceniaj ksiązki po okładce.
Czyżby ministerstwo było glupie?
A już ad meritum, czyli wcześniej przyczynki były złe a teraz są dobre? Jakie jest uzasadnienie tej zmiany?
W naukach ścisłych też kiedyś książki się mocniej liczyły ze względów prestiżowych (ale to było mocno
dawno, np w chemi w latach 60).

[dobrycy]

Właściwie, prawidło wyznaczając trendy epoki, ściślaki powinny po raz kolejny podnieść poprzeczke
przyczynkarstwa (aby humaniści mogli to po 40 latach zastosować), i zastapić artykuły tweetami.
Zamiast jakiegośtam papiera w Phys Rev za 140 punktów co ma 10 stron, powinen być tweet
odkryliśmy to i to i myślimy to i to bez wodolejstwa i "oprawy".

[dobrycy]

Możnaby też wrzucać same rysunki z paroma słowami komentaża, no i oczywiście nie może
zabraknąc łapek w góre i łapek w dół. Ilość punktów zależałaby od ilości łapek.

[dobrycy]

oczywiście miało być komentarza, no cóż kontakt z wytworami studentów degraduje
moją ortografie.

[trzy.14]

dobrycy napisał:

> A już ad meritum, czyli wcześniej przyczynki były złe a teraz są dobre? Jakie j
> est uzasadnienie tej zmiany?

Zgaduję, że zasady ewaluacji, zwłaszcza tej gowinowej, jeszcze-bardziej -zwłaszcza poprawionej Czarnkiem, by Zeszyty Towarzystwa przyjaciół KUL miały trylion punktów.

Gdula - prywatnie

[sendivigius]

pan.toranaga napisał:


Teoria teorią, a praktyka praktyką. Wicie-rozumicie.

youtube.com/shorts/MGm9ohjDsiw?si=018QA42k0emBfLjf

[pan.toranaga]

Potrafi Pan jeździć dwoma samochodami naraz?
Niemcy potrafią dwoma rowerami naraz.
Odpowiadając na pytanie Mazurka: tym drugim jeździ pani Gdulina.
Podobno piwo w sztabie wyborczym Razem było droższe niż w jakiejmkolwiek innej partii.

[kragon]

ekologiczne piwa są droższe