Ewaluacja działalności naukowej – przewodnik

[p-tau]

Wszystko o co chcieliście spytać:

www.nauka.gov.pl/g2/oryginal/2018_08/6e48e5dd4e469616354f861c105e25f6.pdf

[loleklolek_pl]

Tak sobie skroluję ten przewodnik, a tam taki przykład:

Zgodnie ze złożoną deklaracją, 80 procent swojego czasu pracy badacz ten poświęcał na działalność naukową związaną z dyscypliną nauki chemiczne. W związku z tym, w dyscyplinie nauki chemiczne, pracownik będzie miał do dyspozycji 3,2 slotu publikacyjnego na zgłoszenie swoich publikacji, gdyż 4 * 0,8 (średnia wartość iloczynu wymiaru czasu pracy i udziału czasu pracy w dyscyplinie nauki chemiczne) = 3,2.

Tak to jest, gdy patologiczna obsesja czystości spotyka się z matematyką na poziomie podstawówki. Pozostaje mieć złudną nadzieję, że te deklaracje to będzie się składało po wykonanych pracach, a nie przed rozstrzygnięciami konkursowymi na granty. W tym pierwszym przypadku, to w końcu tylko proste, rozluźniające ćwiczenie optymalizacyjne, które będzie trzeba wykonać, by ukontentować naszego zamożnego, ale też mającego dość specyficzne pragnienia sponsora.

[p-tau]

strona 30:
Na etapie podejmowania decyzji o zatrudnieniu pracownika i związanego z tym przyjmowania deklaracji czasu pracy w danej dyscyplinie należy zatem mieć na uwadze możliwość późniejszego zgłaszania przez pracownika wysokocenionych publikacji w dyscyplinie, w której jego udział czasu pracy jest deklarowany jako mniejszy niż 50%.

[loleklolek_pl]

Na stronie 19 jest ładnie wyjaśnione:
Oświadczenie to pracownik prowadzący działalność naukową składa w terminie 14 dni od dnia zatrudnienia, nie później niż do dnia 31 grudnia roku, w którym został zatrudniony. W przypadku podjęcia przez pracownika decyzji o zmianie
dyscypliny powinien on niezwłocznie złożyć nowe oświadczenie (taka możliwość przysługuje pracownikowi jednak nie częściej niż co dwa lata) (...) Natomiast kolejne o świadczenie o dyscyplinach, które reprezentuje dany pracownik, można złożyć kierownikowi podmiotu nie wcześniej niż po 2 latach.

Czyli "grancik nie wypalił, soraski, ale minister zakazuje włączenia Cię do innych prac".

Ciekawiej jest jednak wcześniej na tej stronie 30:
Liczba publikacji naukowych takiego pracownika, które mogą być uwzględnione w ewaluacji w dyscyplinie inżynieria medyczna wynosi 2,63 gdyż: 4 * (1*0,75+1*0,75+0,75*3/4+0,75*3/4 )/4 = 2,63.
Liczba publikacji naukowych takiego pracownika, które mogą być uwzględniane w ewaluacji w dyscyplinie inżynieria chemiczna, wynosi 0,87 gdyż: 4 * (1*0,25+1*0,25 +3/4*0,25+3/4*0,25)/4 = 0,87.
Takie wyliczenie ma swoje znaczące konsekwencje praktyczne. W omawianym przykładzie oznacza to, że jeśli taki pracownik byłby w dyscyplinie inżynieria chemiczna jedynym autorem artykułu za który przyznawane jest np. 200 pkt, to artykuł ten nie mógłby być uwzględniony w ewaluacji!

Zobaczyli własną patologię, a jednocześnie jej nie dostrzegli. Jedyne praktyczne konsekwencje tej brzytwy Gowina będą takie, że jednostki będą odrzucały pojawiające się szanse, które nie będą im się zgrywać z założeniami czynionymi lata wcześniej, a osoby publikujące artykuły za 200 punktów pójdą sobie je publikować gdzieś za granicę, gdzie żaden patologiczny obsesjonat czystości nie będzie im wyliczał z dokładnością do dwóch miejsc po przecinku wskaźnika czystości dyscyplinarnej twierdząc, że ich wkład jest jednak bezwartościowy, bo wyszło tylko 0,87, a to jest mniej niż 1.

[nobooks]

To faktycznie absurd. Jeśli już gramy w te klocki, to przynajmniej powinny policzyć się 174 punkty na 0,87 slotu.

[js.c]

No właśnie. Wydawało by się, że to oczywiste, a tu taka niespodziewajka.

To zaczyna wyglądać naprawdę głupio. Może warto pisać jakieś opinie itp. (bodaj jeszcze tydzień czasu na to został). Przynajmniej jeśli ktoś się w tym orientuje. Przyznam się, że trudno mi już nadążyć za tą "kreatywnością interpretacyjną" płynącą z góry...

[trzy.14]

E tam, zaraz, głupio. Po prostu dotychczasowe lokomotywy nauczą się doczepiać do składu więcej wagoników. Wyobrażam sobie nawet skrajną sytuację, gdy lokomotywa doczepia N0, które to N0 w skutek licznych doczepień osiąga status biorący w konkursach NCN, które działają przecież na nieco innych zasadach niż ćwiczenia KEJN.

[flamengista]

Chyba żartujesz. W ekonomii ci co znam i są "lokomotywami" osiągnęli to niesłychaną harówą i kosztem niesłychanych wyrzeczeń. Podobnie pisał o tym w przypadku nauk politycznych Magik. W całych naukach społecznych jest podobnie.

I teraz ci ludzie mieliby po prostu "dopisać" do swoich publikacji free-riderów? Co niby mieliby z tego mieć? Jeśli ktoś poświęcił zarobki i szybki awans (szybką habilitację) na rzecz żmudnego przebijania się ze swoimi wynikami do dobrych czasopism, to znaczy że tylko go kręci robienie nauki. Więc nie będzie teraz kombinował i wchodził w układy. Najwyżej jak mu każą kogoś dopisać, to pójdzie gdzie indziej.

[dystansownik]

flamengista napisał:
> Więc nie będzie teraz kombinował i wchodził w układy.

Ja coraz bardziej przekonuję się, że kombinowanie i wchodzenie w układy to chyba najlepsza metoda na robienie kariery w nauce. Niestety nie na własnym przykładzie, a z obserwacji ludzi w moim otoczeniu, gdzie podlizywanie się wysoko postawionym osobom, z przewodniczącym CK na czele, daje lepsze efekty niż bardzo dobry warsztat badawczy.
Chęć robienia prawdziwej nauki w tym procesie stanowi wręcz przeszkodę dla rozwoju kariery.

> Najwyżej jak mu każą kogoś dopisać, to pójdzie gdzie indziej.

W większości przypadków (pomijając społ-humy), będzie to zagranica.

[trzy.14]

nobooks napisał(a):

> To faktycznie absurd. Jeśli już gramy w te klocki, to przynajmniej powinny poli
> czyć się 174 punkty na 0,87 slotu.


Na zdrowy rozum nie ma powodu uważać, że w tym przewodniku nie ma błędów.
W przeciwnym wypadku gdyby ktoś miał do wykorzystania np. 1,8 slotu, a opublikował dwie prace w Nature, to mógłby wykorzystać tylko jedną? Zresztą tu jest ten sam problem nie tylko z Nature, ale i Ziemniakiem Polskim.

Można było ustawę o SN nowelizować 5 razy w roku, to i przewodnik jeszcze nie raz się uaktualni.

[nobooks]

Myślę tak jak p-tau, że miało być "w całości".
Jest tam trochę innych błędów, np. artykuł za 80 punktów, 40 pkt wpisane w złej kolumnie tabeli (w przykładzie historyczno-politycznym).

[loleklolek_pl]

I tak po prostu odpuściliby sobie wyliczankę z dodawaniem i mnożeniem? Jeśli traktują to tak jak problem plecakowy, to mamy jasną sytuację "artykuł jest zbyt ciężki, by można go było zmieścić do plecaka danego naukowca, więc odpada w całości". Oczywiście można protestować, ale obawiam się, że tamta ekipa jest bardzo przywiązania do materializowania (utowarowiania) obiektów niematerialnych (też w innych kwestiach), by tak łatwo odpuścili.

[p-tau]

Taki sposób liczenia dorobku w dyscyplinach może został celowo* wprowadzony, żeby właśnie monodyscyplinarność wspierać.

* zaraz wyśmiejecie ;)

[adam_beast]

Te wzory to jakaś paranoja, brak znajomości elementarnych zasad matematyki i komplikowanie na siłę. Zwróćcie uwagę, że z przodu mamy mnożenie razy cztery a za nawiasem dzielenie przez 4. O tym, żeby czynnik 0,75 wyciągnąć przed nawias, to już na pewno nikt nie pomyślał.

[tadeusz.rysiakiewicz]

Byloby za proste... i nie tak uczone. A tak....

[dystansownik]

loleklolek_pl napisał:

> Tak sobie skroluję ten przewodnik, a tam taki przykład:
>
> Zgodnie ze złożoną deklaracją, 80 procent swojego czasu pracy badacz ten poś
> więcał na działalność naukową związaną z dyscypliną nauki chemiczne. W związku
> z tym, w dyscyplinie nauki chemiczne, pracownik będzie miał do dyspozycji 3,2 s
> lotu publikacyjnego na zgłoszenie swoich publikacji, gdyż 4 * 0,8 (średnia wart
> ość iloczynu wymiaru czasu pracy i udziału czasu pracy w dyscyplinie nauki chem
> iczne) = 3,2.
>
> Tak to jest, gdy patologiczna obsesja czystości spotyka się z matematyką na poz
> iomie podstawówki. Pozostaje mieć złudną nadzieję, że te deklaracje to będzie s
> ię składało po wykonanych pracach, a nie przed rozstrzygnięciami konkursowymi n
> a granty. W tym pierwszym przypadku, to w końcu tylko proste, rozluźniające ćwi
> czenie optymalizacyjne, które będzie trzeba wykonać, by ukontentować naszego za
> możnego, ale też mającego dość specyficzne pragnienia sponsora.

Mnie najbardziej interesuje oderwanie od rzeczywistości tych rozważań. W praktyce zacznie się fikcyjne żonglowanie dyscyplinami w przypadku ludzi z pogranicza dyscyplin. A i tak każdy wie, że w praktyce połowę czasu pracy poświęca się na upierdliwości administracyjne.

O, to też jest ciekawe

[loleklolek_pl]

str. 98-99
zasady ewaluacji uwzględniają limit artykułów naukowych opublikowanych w czasopismach spoza dyscypliny zadeklarowanej przez naukowca, które mogą być zgłoszony do ewaluacji – 20%. Jest on wystarczający w świetle obecnego poziomu zgodności tematycznej czasopism publikujących artykuły polskich naukowców z dyscypliną zadeklarowaną przez nich na potrzeby ewaluacji jednostek naukowych za lata 2013-2016. W prawie wszystkich dyscyplinach odsetek ten przekracza 80%, tylko w trzech dyscyplinach jest minimalnie niższy (inżynieria medyczna – 79,73%; inżynieria lądowa – 79,66%; architektura i urbanistyka – 78,97%). Pewnym wyjątkiem jest informatyka (67,97%), w której wynik zaniża znaczna liczba zgłoszonych do ewaluacji publikacji w czasopismach z obecnej listy B, które tematycznie lokują się w obszarach: ekonomia, zarządzanie, humanistyka.

No proszę, we wspomnianych dyscyplinach widać efekty tego, że jakiś czas temu na ich stykach zaczęły dziać się ciekawe rzeczy. Pewnych trendów tu jeszcze nie widać, podobnie jak nie widać nawet cienia refleksji ministra nad tym, jak założenie takich dławików przełoży się na współpracę uczelni z otoczeniem (którego czystość dyscyplinarna bynajmniej nie interesuje), rozwój wewnętrzny w związku ze wzrostem zapotrzebowania na określone kompetencje (informatyka) czy pojawianiem kolejnych ciekawych punktów styków różnych dyscyplin. Zamiast tego mamy pławienie się w samozadowoleniu, bo się policzyło procenty wg stanu na dziś.

[dystansownik]

loleklolek_pl napisał:
> No proszę, we wspomnianych dyscyplinach widać efekty tego, że jakiś czas temu n
> a ich stykach zaczęły dziać się ciekawe rzeczy. Pewnych trendów tu jeszcze nie
> widać, podobnie jak nie widać nawet cienia refleksji ministra nad tym, jak zało
> żenie takich dławików przełoży się na współpracę uczelni z otoczeniem (którego
> czystość dyscyplinarna bynajmniej nie interesuje), rozwój wewnętrzny w związku
> ze wzrostem zapotrzebowania na określone kompetencje (informatyka) czy pojawian
> iem kolejnych ciekawych punktów styków różnych dyscyplin. Zamiast tego mamy pła
> wienie się w samozadowoleniu, bo się policzyło procenty wg stanu na dziś.

Dodałbym jeszcze jedno, jak ma się to do rzeczywistych trendów na arenie międzynarodowej. Jak niedawno rozmawiałem z paroma kolegami z mojej dyscypliny, którzy reprezentują zagraniczne instytucje, oni ostatnimi laty bardzo często skręcają na tereny interdyscyplinarne, praktycznie odchodząc od zagadnień "czystych". Dlaczego? Bo oni pracują w instytucjach, które w dużej mierze żyją z grantów ERC i Horizona, a na naszą "czystą" dyscyplinę nie ma praktycznie finansowania obecnie. A my teraz robimy dokładnie coś przeciwnego.

[loleklolek_pl]

Połączmy jeszcze wyjaśnienia ze stron 30 i 98-99:
Liczba publikacji naukowych takiego pracownika, które mogą być uwzględniane w ewaluacji w dyscyplinie inżynieria chemiczna, wynosi 0,87. Takie wyliczenie ma swoje znaczące konsekwencje praktyczne. W omawianym przykładzie oznacza to, że jeśli taki pracownik byłby w dyscyplinie inżynieria chemiczna jedynym autorem artykułu za który przyznawane jest np. 200 pkt, to artykuł ten nie mógłby być uwzględniony w ewaluacji!
zasady ewaluacji uwzględniają limit artykułów naukowych opublikowanych w czasopismach spoza dyscypliny zadeklarowanej przez naukowca, które mogą być zgłoszony do ewaluacji – 20%.

Coś się chyba przygotowującym wyjaśnienia pozajączkowało, bo wyszło im, że co prawda artykuł za 200 punktów w dyscyplinie inżynieria chemiczna nie wchodzi w ewaluację, bo 0,87 <1, ale jak ten sam autor w ramach frustracji opublikuje artykuł "wpływ obsesji czystości na funkcjonowanie organizacji" w czasopiśmie lokującym się w dyscyplinie, dla której ma przypisane 0 slotów, to jednak w ramach 20% będzie mu się liczyć (no chyba, że KEN zakwestionuje zgodność tematyki z badaniami prowadzonymi w jednostce, ale w tym przypadku chyba nie będzie miał podstaw, w końcu tenże naukowiec jest przedmiotem swoistego eksperymentu prowadzonego m.in. w jego jednostce ;-) ).

Oczywiście wyjaśnienie na stronie 33 nic nie mówi o slotach publikacji w dyscyplinach pracownika, więc można się spodziewać, że w ewaluacji będą się liczyły tylko te publikacje spoza dyscypliny jednostki, na które pracownicy tej jednostki mają odpowiednie sloty dyscyplinowe z innych dyscyplin.

Ech, dajcie znać, jak już ludzie z ministerstwa przeczytają ze zrozumieniem swoje własne wyjaśnienia i wydadzą poprawioną wersję tychże wyjaśnień.

[p-tau]

W złym miejscu dałem odpowiedź:

Taki sposób liczenia dorobku w dyscyplinach może został celowo* wprowadzony, żeby właśnie monodyscyplinarność wspierać.

* zaraz wyśmiejecie ;)

Też mnie zastanowiło to stwierdzenie, że "....200 pkt, to artykuł ten nie mógłby być uwzględniony w ewaluacji!", ale to by oznaczało, że to dotyczy dla każdego slota nierównego 1.
Może miało to brzmieć: "nie mógłby być uwzględniony w całości w ewaluacji".

[loleklolek_pl]

Dlaczego wyśmiejemy? Przecież jedyny cel wprowadzanych zmian o charakterze nazwijmy to strategicznym, jaki został podany, to polepszenie nastroju ministrowi, któremu od teraz będzie wydawać się, że potrafi porównywalnie oceniać jednostki (oczywiście wewnątrz dyscyplin może być zróżnicowanie utrudniające porównywalność, a i same granice dyscyplin są przecież nieostre). Więc istotnie, może i na początku wymuszanie monodyscyplinarności było celem. Tyle, że potem zaczęła się seria reakcji na zgłaszane problemy. Ot, ktoś wskazał, że nie będzie działać interdyscyplinarność, więc coś tam poprzestawiano zupełnie ignorując kompleksową ocenę wpływu tych zmian. Tym samym mamy zestawik jakiś przykładów, które nie wiadomo, jak ze sobą współdziałają. Ministerstwo też prawdopodobnie nie wie.

Więc przykładowo jeśli 20% artykułów w dyscyplinie może być spoza niej i nie liczy się to do żadnych slotów poszczególnych autorów, to bardzo opłaca się dokooptowywać lokomotywy z dobrych dyscyplin do dyscyplin słabych, w drugą stronę transferując dawców slotów. Ministerstwo jest chyba trochę tego świadome, stąd odgrażanie się, że artykuły z tych 20% będą kontrolowane na zgodność z dyscypliną. Tym sposobem dochodzimy sedna deformy, w której o uprawnieniach do doktoryzowania danej jednostki będzie decydował wynik przepychanek o to, czy zapisek "uzyskane wyniki mają potencjał do wykorzystania w tej i tej dyscyplinie" umieszczony w artykule spoza tej dyscypliny jest wystarczający do uznania, że jakiś tam związek występuje.

wszystko może być monografią

[flamengista]

s. 24: "W nowym modelu ewaluacji odstąpiono od obowiązującego poprzednio obowiązku posiadania przez monografię minimalnej objętości pod postacią określonej liczby arkuszy wydawniczych."

Te liczby arkuszy były oczywiście kuriozalne, ale bez tego wymogu można w zasadzie opublikować 20-stronicową broszurę w formie monografii, jeśli tylko puści ją wydawnictwo z listy. A ponieważ na liście znajdą się wydawnictwa uczelniane, oczywiście że puści bo to oszczędność czasu i pieniędzy.

[czlowiek.z.makulatury]

100 monografii na stulecie Polski, to jest czego dokonamy z prof. Marianem do 11 listopada.

[tadeusz.rysiakiewicz]

ja juz zczalem pisac 100 popularno naukowych ksiazeczek dla dzieci, 100 monografii o najbardziej modnych trendach naukowych i wypromuje 100 doktorow

[trzy.14]

tadeusz.rysiakiewicz napisał:

> ja juz zczalem pisac 100 popularno naukowych ksiazeczek dla dzieci, 100 monogra
> fii o najbardziej modnych trendach naukowych i wypromuje 100 doktorow

najlepszą cytowalność zapewni 100 książeczek pornograficznych.

[kubahum]

Tak, ale zgodnie z definicją musiałyby to być książki 1) recenzowane, 2) przedstawiające "określone zagadnienie w sposób oryginalny i twórczy, posiadającą aparat naukowy". Ewentualnie można by dorzucić 3) jakiś "recenzowany i opatrzony aparatem naukowym przekład na język polski dzieła istotnego..." lub 4) przekład "dzieła polskiego" na inny język. Autor lub zespół piszący takie książeczki mieliby dużo pracy, a przy okazji - chyba musieliby mieć sporo fantazji.

[tadeusz.rysiakiewicz]

Widzicie jak zycie prawdziwego naukowca jest trudne. Tyle wymagan.....

niejasne zasady punktowania artykułów 17/18

[flamengista]

otóż w tym podręczniku piszą wyraźnie, że stara punktacja zostaje, ale... dla listy B. Nie wiadomo natomiast co z czasopismami, które są na Scopusie i WoS w 2017 lub 2018 (niezależnie od tego, czy były na liście A/C czy też nie). To znaczy wszyscy się spodziewali punktacji "po staremu" a tu sugerują, że właśnie punkty "stare" zostają dla listy B.

Wszystko dopiero się powinno wyjaśnić w rozporządzeniu które ma się pojawić w listopadzie br.

Swoją drogą, po pierwszej lekturze stwierdzam że to wyjątkowo skomplikowany i uznaniowy system. A skoro tak, to znaczy że wyniki parametryzacji na 2021 (przynajmniej wstępne) pewnie już są... w biurku wicepremiera;)

[dystansownik]

Mnie zastanawia, że w sumie WoS zostaje dla formalności, bo artykułu w nim indeksowane, a nie będące w Scopusie (brak SNIPa) będą miały tylko 20 pkt. W praktyce więc, tylko Scopus dziś się liczy jako punkt odniesienia.

Druga sprawa, to ciekawe jak będą traktowane konferencje międzynarodowe, które są w Scopusie. Dziś nagminnie wykorzystuje się furtkę dającą 15 pkt za nie i już niektórzy się wycwanili w organizowaniu podrzędnych konferencji reklamowanych tym, że będą indeksowane, a jak grzyby po deszczu rosną "journale" publikujące online materiały z konferencji (np. MATEC), które podlegają indeksacji.

[p-tau]

Flamengista.
Wyjaśnienie znajdziesz w micie #7:

za artykuły opublikowane w ostatecznej formie do końca 2018 r. punkty będą przyznawane zgodnie z ostatnim ministerialnym wykazem czasopism ogłoszonych przed wprowadzeniem w życie postanowień reformy (tj. wykazem ze stycznia 2017 r.), uwzględniającym wciąż jeszcze dotychczasowy podział na listy A, B i C.

[flamengista]

Tak też to rozumiałem, ale dlaczego w tabeli pokazującej symulację uwzględniono tylko Listę B za 2017-2018?

Generalnie mi to rybka, problem w tym że publikacje za lata 2017-2018 są w zasadzie bezwartościowe. Wszystko się tu wypłaszczyło, więc w dobrych jednostkach te 50 punktów za publikację w Nature to będzie dziadostwo. Tak naprawdę "grubsze" teksty mają znaczenie, jeśli pójdą w latach 2019-2020. Nie ma więc żadnych szans dla małych jednostek, a raczej - wszystko zależy od niesamowitego farta. Jedna przypadkowa publikacja z socjologii czy polityk publicznych może którąś z uczelni ekonomicznych rzutem na taśmę wciągnąć na kategorię A.

Z kolei w "dużych" dyscyplinach właściwie nie ma ratunku - jeśli jakaś uczelnia była przeciętna, to nawet przy maksymalnej motywacji nie jest w stanie nic naprawić. Slotów jest zbyt dużo, żeby wypełnić je tłustymi kąskami za 2019-2020. W zasadzie ciężko ocenić, jak wypadnie parametryzacja z ekonomii i finansów oraz z zarządzania na SGH, w UEP czy u nas. Zacznie się też kreatywna księgowość - usuwanie totalnych zer na etaty dydaktyczne, by zlikwidować duży mianownik.

Po d. dostaną także elitarne zespoły które były poddane parametryzacji osobno. W mojej działce najlepszy jest pewien ośrodek badawczy na UW. W tym momencie mają kategorię A+, z resztą całkiem zasłużenie. W nowym rozdaniu ich pracownicy zostaną przypisani do różnych dyscyplin, szczególnie że funkcjonowali w subdyscyplinie będącej dotychczas w ekonomii, a teraz to nauki socjologiczne. Jak to wpłynie na autonomię ośrodka i możliwość prowadzenia w nim badań na światowym poziomie, trudno teraz przewidzieć.

[p-tau]

Możesz ich zapytać co wybrali: 30 listopada bo wtedy mija termin składania przez nauczycieli akademickich oraz osoby biorące udział w prowadzeniu działalności naukowej pierwszych oświadczeń w sprawie dyscyplin i dziedzin według nowej klasyfikacji, które reprezentują.

To będzie ciekawe swoją droga, ponieważ jeśli jest tak jak piszesz to powinni dwie dyscypliny wskazać ponieważ ich dorobek nie jest jednorodny, np. poprzez dopiski "..... z perspektywy ekonomicznej", ".... w naukach społecznych".

Algorytm optymalizujący

[p-tau]

Moją uwagę zwrócił "algorytm optymalizujący":

"Propozycja wyboru osiągnięć poszczególnych pracowników uwzględnianych w ewaluacji danej dyscypliny będzie wynikiem algorytmu optymalizującego wynik podmiotu przy określonych limitach na poziomie indywidualnym i instytucjonalnym."

"w celu zapewnienia podmiotowi możliwości uzyskania w ramach kryterium I jak najwyższej oceny punktowej za poszczególne osiągnięcia naukowe, zdecydowano o wprowadzeniu do systemu ewaluacji algorytmu optymalizującego. Algorytm ten ma na celu dokonywanie wstępnego wyboru osiągnięć naukowych, które powinny stanowić podstawę do ewaluacji. Przy uwzględnieniu wszystkich zawiłości mechanizmów ewaluacji, algorytm powinien służyć pomocą podmiotom poddającym się ewaluacji we właściwym doborze publikacji i innych osiągnięć naukowych. Innymi słowy, algorytm ten ma pełnić rolę swego rodzaju suflera, podpowiadającego, które osiągnięcia podmiot powinien zgłosić do ewaluacji, aby uzyskać za nie jak najwięcej punktów."



Czyli jak rozumiem będzie to coś co wyręczy sterowanie ręczne?

[zitterbewegung]

Wyręczyłoby gdyby... ale programowanie liniowe, bo tak to sie nazywa, anno domini 2018 to jest w zasadzie cała dziedzina. Są więc dwie drogi: 1) Zakup solvera typu GuRoBi - nawet nie koszt jest tu zasadniczym problemem co wielość parametrów konfiguracji i związane z tym kompetencje. 2) Napisanie samemu - co będzie miało poziom nie wyższy niż praca zaliczeniowa studenta (biorąc pod uwagę poziom kadr dostępnych Ministerstwu czy to za pieniądze jakie samo oferuje, czy też jakie oferuje typowy Comarcho-podwykonawca) i tak samo działało.

[loleklolek_pl]

Ale kiedy tak na oko, to już widać, że idą w określonym kierunku. Stąd te sugestie, że jak artykuł waży więcej niż jest slotów, to jest w całości odrzucany, tudzież dla każdego ze współautorów w ramach jednostki waży tyle samo. Widać pewną fascynację problemem plecakowym ;-)

[tadeusz.rysiakiewicz]

no to niezly algorytm beda opracowywac...

[js.c]

Deklarowanie dyscyplin "a priori" (i to jeszcze w wymiarze procentowym) jest mało sensowne i w sumie - bardzo niesprawiedliwe. Zauważmy, że przypomina to (nieistniejące na razie) deklarowanie liczby publikacji (między 1 a 4) od konkretnych pracowników przed rozpoczęciem okresu oceny. Tego drugiego robić nie trzeba i uczelnia sobie sama wybierze liderów (zaliczając im pełne 4 sloty) i outsiderów (nie wiem jakie tu jest minimum, czy zostały jeszcze jakieś ślady po N0?), post factum, na bazie tego co tam przez te 4 lata opublikowano. Nie wiedzieć czemu dyscypliny są "mrożone", co dodatkowo utrudnia badania interdyscyplinarne, nielogicznie i niepotrzebnie. Komplikując przy tym rachunki (bo jest opcja zmiany dyscypliny po dwóch latach itp.). Niestety trochę tego wpisano już w ustawie. Na ile da się to "wyprostować" rozporządzeniem? Czy jest możliwa - w ramach tej ustawy - deklaracja dyscyplin post factum, czy nie ma tej opcji?

Zrozumiałe i być może konieczne jest deklarowanie dyscyplin przez obecne "minimum kadrowe" 12 osób, aby dana dyscyplina "zaistniała" na uczelni (nota bene: a co z sytuacją, gdy dyscyplina wywalczy sobie B+, a w rok po ewaluacji kilku pracowników odejdzie i dyscyplina liczyć będzie poniżej 12 osób? czy zdobyte uprawnienia nie są wtedy konsumowane?).

[nobooks]

N0 jest jawnie i w rozporządzeniu i w przewodniku, zabiera 3 a nie 2*3 sloty. IMHO N0 będzie miało mniejsze znaczenie niż liczne przyzerowe kontrybucje po 5-15 punktów od osoby. N0 jest chyba zbędne, może mieć wartość psychologiczną dla tych uczelnianych decydentów, którzy nie uświadomią sobie, że pracownicy publikujący po 5 punktów to prawdziwe N0.

[js.c]

Dzięki za wyjaśnienie. Myślę jednak, że N0 będzie miało istotną rolę w związku z montowaniem minimum kadrowego dyscyplin masowych, przyciągających studentów, a mających deficyt kadry w skali kraju (np. uczelnia chce prowadzić studia z informatyki, a ma 6-7 informatyków, dopisuje kogoś tam jeszcze, a ten nic - z informatyki - nie publikuje, wtedy bez N0 wystarczyłoby nawet te 6 lokomotyw: 24 dobre publikacje zapewne mogłyby sporo ważyć, a gdy odejmiemy 6*3 na konto tych 6 N0, to widać, że zostaje niewiele).

[js.c]

@nobooks
A jak to jest z tym moim drugim pytaniem (czy dyscyplina wysokiej kategorii, ale zdekompletowana, zachowuje swe uprawnienia, czy konieczne jest aktualna liczba 12 złożonych i ważnych deklaracji, aby te uprawnienia "skonsumować").

[p-tau]

Wg ustawy uprawnienia są związane z kategorią. Jeśli kategorię jednostka ma, to i uprawnienia też ma.
Z tego by wynikało, że:
a) nie jest konieczna liczba deklaracji a sam wynik ewaluacji,
b) wynik ewaluacji B+ za lata 2018-2021 da uprawnienia na kolejny okres 4 lat.

[dystansownik]

Pytanie czy działa to w drugą stronę, tzn. jeśli jednostka dostała kategorię A ostatnio, a nie miała dotychczas praw np. do nadawania habilitacji, to czy w tym wypadku z automatu je nabywa? Póki co cała około-ustawowa dyskusja toczyła się o utratę, a nie nabywanie uprawnień i ten temat jest niejasny.

[p-tau]

Przepisy przejściowe to regulują. Mowa tam o tym, że zacznie się końcem grudnia proces przyporządkowania posiadanych uprawnień do nowych dyscyplin. O tym czy dobrze zgłoszono jednostkę zdecyduje CK.

[trzy.14]

N0 straci swoje obecne (fundamentalne) znaczenie, gdyż wobec 4/łebka uczelnie będą rozliczać się wszystkim, w tym ścinkami z podłogi.

[trzy.14]

trzy.14 napisał:

> N0 straci swoje obecne (fundamentalne) znaczenie, gdyż wobec 4/łebka uczelnie b
> ędą rozliczać się wszystkim, w tym ścinkami z podłogi.

Chodzi nie tylko o 4/łebka, ale przede wszystkim o pierwiastek.

Dotąd mogliśmy wystawić nawet 5N publikacji. Pierwiastek niczym kostucha kosi wszystko równo z trawą.

[trzy.14]

Po zastosowaniu w bardzo zgrubny sposób do danych z poprzedniej parametryzacji zasady pierwiastkowania oraz wycięciu kilkudziesięciu prac 3 lokomotyw, u mnie próg odcięcia spada z okolic 35 do ok. 10 punktów. Liczba slotów, jakie moglibyśmy zgłosić, nie przekracza 3,15*N. Dokładniejsze rachunki mogłyby tę liczbę zredukować poniżej 3N (nie uwzględniłem całości zasady 4/łebka oraz tego, że w poprzedniej parametryzacji mieliśmy kilkanaście prac, w których nikt z kadry nie był współautorem). Wtedy próg odcięcia miałby wartość w okolicach 2-3 punktów. I to te 2-3 a nie jak teraz 35 odbierać będzie jednostce N0.

[trzy.14]

W ten sposób na wydziałach dotychczas naukowych zacznie opłacać się punktoza i masowe publikowanie w Ziemniaku Polskim. I dobrze, jak urawniłowka, to urawniłowka!

[loleklolek_pl]

Nie no, nastąpi zasadnicza zmiana. Od teraz opłacalny będzie rozstrzał autorski. Jedna pracę do ziemniaka napiszę sam, do jednej dopiszę kumpla, do jednej dwóch kumpli, itd. Dzięki temu będzie większa pewność pełnego wykorzystania czterech slotów na łebka.

[nobooks]

Pojęcie progu odcięcia traci sens. Inaczej, próg odcięcia będzie wektorem długości N-N0, z wieloma wartościami zerowymi. W Ziemniaku Polskim publikowanie będzie marginalnie opłacalne tylko dla pracowników z zerowym progiem odcięcia.

[czlowiek.z.makulatury]

Może bardziej zrozumiale. Nie będzie progu odcięcia na poziomie jednostki. Każdy będzie miał swój indywidualny próg odcięcia, który będzie wynosił tyle ile punkty za czwartą jego najlepiej punktowaną publikację.

Natomiast ciekawe będzie jak będzie ten wektor maksymalizowany przez władze jednostki przy pomocy zachęt i nagród. Na przykład na podstawie będą wręczane nagrody? Może na podstawie gradientu?

[js.c]

Niekoniecznie czwartą. Jak ktoś pisze prace w wieloosobowych zespołach, to może być nawet praca czterdziesta.
Zatem chyba niedoszacowano tych kwestii. Być może zasada "max 4 od każdego" powinna być sprzężona nie z 3N, ale z 2N?

[nobooks]

Podoba mi się ten pomysł. Zwłaszcza w najbliższej ewaluacji, w której głównie liczyć się mają publikacje za 2 lata.

[dystansownik]

nobooks napisał(a):
> Podoba mi się ten pomysł. Zwłaszcza w najbliższej ewaluacji, w której głównie l
> iczyć się mają publikacje za 2 lata.

Ja mam w tej chwili 3 publikacje na etapie in review albo już in publishing w journalach z IF (czyli liczyć się będą, tylko nie wiadomo za ile). I teraz nie wiem czy liczyć na to, jak zwykle, żeby opublikowały się jak najszybciej, czy na to, żeby proces się przeciągnął i zostały opublikowane dopiero w przyszłym roku.

[dystansownik]

czlowiek.z.makulatury napisał(a):
> Może bardziej zrozumiale. Nie będzie progu odcięcia na poziomie jednostki. Każd
> y będzie miał swój indywidualny próg odcięcia, który będzie wynosił tyle ile pu
> nkty za czwartą jego najlepiej punktowaną publikację.

Tylko np. w przypadku instytutów badawczych sprawa się komplikuje, kto tak naprawdę zaliczać się będzie do liczby N w tym momencie. U nas dotychczas zaliczano i pracowników naukowych (z badawczo-technicznymi to jakieś 20% kadry) i inżynieryjno-technicznych (ok. 50% kadry). Jeśli próg odcięcia nie będzie uogólniony dla całego instytutu, to u nas zacznie się żonglerka tym kto ma się do Nów w ogóle zaliczać.

> Natomiast ciekawe będzie jak będzie ten wektor maksymalizowany przez władze jed
> nostki przy pomocy zachęt i nagród. Na przykład na podstawie będą wręczane nagr
> ody? Może na podstawie gradientu?

U nas jest system nagród za wysokopunktowane publikacje. Teraz nie wiadomo co z nim będzie, bo albo nagrody będą musiały być przyznawane po zakończeniu okresu ewaluacyjnego, gdy wiadomo, które publikacje się "zaliczą" danej osobie (co traci sens jak trzeba będzie czekać po 4 lata) albo bardzo się on skomplikuje.
Poza tym, jak się już nabije "limit" to poza personalnymi ambicjami i pod kątek własnych postępowań awansowych, nie będzie sensu publikować dalej.

[trzy.14]

czlowiek.z.makulatury napisał(a):

> Może bardziej zrozumiale. Nie będzie progu odcięcia na poziomie jednostki. Każd
> y będzie miał swój indywidualny próg odcięcia, który będzi

Nie! Jeżeli ktoś będzie miał prace współautorskie, to progiem odcięcia będzie czwarta praca, w której jest jedynym autorem z jednostki. Tu jest ogromne pole do "optymalizacji".

[js.c]

Nie rozumiem. Dlaczego? Zauważ, że w pierwiastkach i ułamkach występuje k/n, gdzie n jest liczbą wszystkich autorów artykułu. Zatem "jedyność" nie ma już takiego znaczenia jak dotąd.

[czlowiek.z.makulatury]

W ogóle dlaczego "ustawodawca" zdecydował się na taki prosty algorytm. W ogóle najlepiej trzeba było mnożyć liczbę liter w dziele razy trzy.14 i dzielić przez dwa.718, jakiś tutaj cosinus w liczbie autorów też byłby spoko. Na koniec żeby nie było za łatwo dodałbym jakiś proces generujący szum pseudolosowy.

Przecież w nauce też się liczy łut szczęścia, a czy my jako biedny kraj możemy sobie pozwolić na dawanie pieniędzy naukowcom, którzy nie mają szczęścia?

[trzy.14]

czlowiek.z.makulatury napisał(a):

> W ogóle dlaczego "ustawodawca" zdecydował się na taki prosty algorytm.

To proste - tymi rozporządzeniami rozporzędzeniodawca bohatersko walczy z patologiami, które sam stworzył poprzednimi rozporządzeniami. I to nie jest jego ostatnie słowo!

[adept44_ltd]

a nie mają szczęścia, bo są z biednego kraju...; w zasadzie najlepiej by zamknąć tę naukę, ale nieco urzędników i polityków się przy niej pożywi...

[js.c]

Szkoda, że zero symulacji. Być może zwiększenie limitu z 4 do 5-6 dałoby lepsze wyniki?

[dystansownik]

js.c napisał(a):

> Szkoda, że zero symulacji. Być może zwiększenie limitu z 4 do 5-6 dałoby lepsze
> wyniki?

Jaki sens jest w rozważaniu czy +/- 1-2 publikacje istotnie by wpłynęły na wyniki, jak sam pomysł jest durny?

Oni chcą na siłę uśredniać działalność jednostek (co w założeniu może ma sens gdyby świat był idealny) aby nie opierały się one na koniach pociągowych stanowiących mniejszość zatrudnionych. W nauce, jak w wielu obszarach życia, niestety sprawdza się zasada Pareto, za ok. 80% najlepszych publikacji odpowiada zazwyczaj ok. 20% pracowników. Te proporcje można zmienić tylko wywalając najgorszych lub spychając ich na stanowiska na których nie wymaga się zajmowania nauką. Jak ktoś przez 30 lat nie opublikował nic w topowych journalach to na pewno nie zacznie.

[dystansownik]

Dodam jeszcze tylko, że nie piszę tego bezpodstawnie. U nas, jakiś czas przed ostatnia ewaluacją, przeprowadzono analizę w których kryteriach mieliśmy najwięcej punktów i jak wyglądał rozkład ilości publikacji pomiędzy pracownikami. Wykres ładnie się układał w formie zbliżonej do rozkładu Pareto i bardzo łatwo można było zidentyfikować najlepszych pracowników (szkoda, że na nic to się później nie przekładało).

[flamengista]

Ależ oczywiście, zasada Pareto się sprawdza w empirii i jest na to masę dowodów.

Eksperci ministerstwa chcieli walczyć z "punktozą", czyli po prostu posłuchali Emanuela Kulczyckiego. Niestety walka z punktozą będzie miała miejsce, ale na samym dole. Czyli nie ma sensu publikować 10 artykułów na liście B rocznie. Pięknie, problem w tym że dzięki wprowadzonym mechanizmom nie ma też "sensu" (oczywiście tylko z perspektywy parametryzacji, nie indywidualnej kariery) publikować więcej niż 4 artykuły w Physical Review Letter czy American Economic Review w okresie 2017-2020. Nie mówiąc już o półce niżej, czyli publikacjach w dobrych i bardzo dobrych żurnalach z IF.

Tymczasem z perspektywy nauki polskiej, szczególnie w obszarze nauk społecznych każdy artykuł w czasopiśmie z IF>1 z afiliacją polską jest bardzo cenny. Tu chodzi nie tylko o punkty, a raczej uzyskanie masy krytycznej. W wielu przypadkach w socjologii, psychologii społecznej, zarządzaniu czy ekonomii publikacja artykułu zależy nie tylko od jakości metod i danych (tu kryteria są wysokie, ale stosunkowo łatwo je spełnić) ale też od argumentacji i jakby to rzec... przekonania, że autorzy nie są Boratami z III świata, którzy właśnie nauczyli się jeść widelcem i nożem.

Tak więc seryjne publikowanie przez socjologów czy ekonomistów z Polski w przyzwoitych czasopismach z IF w przyszłości umożliwi zapobiegnięcie takiej sytuacji, gdy za samą afiliację z PL automatycznie dostaje się desk rejection - dokładnie tak jak koledzy z Iranu, Pakistanu i Nigerii.

Dodatkowo niestety jest tak, że spośród tych 20% najlepiej publikujących jakieś 10% prac tak naprawdę cokolwiek wnosi. Jeśli więc ci ludzie będą mieli się ograniczać w publikowaniu - to szanse na publikację wysoko cytowanych artykułów (piszę o czystej bibliometrii, nie o przełomowych odkryciach) drastycznie spadają. Bo nie da się w 100% przewidzieć, co ludzie będą cytować.

Dodajmy do tego promocję mainstreamowych tematów "bezpiecznych dyscyplinarnie" - czyli tekstów zwyczajnie nudnych.

Ja się spodziewam, że efektem tych działań będzie realny SPADEK pozycji Polski w rankingach cytowań Scopus a także prawdopodobny spadek pozycji polskich uczelni w rankingach, bo te cytowania mają spore znaczenie!

[dystansownik]

flamengista napisał:
> Eksperci ministerstwa chcieli walczyć z "punktozą", czyli po prostu posłuchali
> Emanuela Kulczyckiego. Niestety walka z punktozą będzie miała miejsce, ale na s
> amym dole. Czyli nie ma sensu publikować 10 artykułów na liście B rocznie. Pięk
> nie, problem w tym że dzięki wprowadzonym mechanizmom nie ma też "sensu" (oczyw
> iście tylko z perspektywy parametryzacji, nie indywidualnej kariery) publikować
> więcej niż 4 artykuły w Physical Review Letter czy American Economic Review w
> okresie 2017-2020. Nie mówiąc już o półce niżej, czyli publikacjach w dobrych i
> bardzo dobrych żurnalach z IF.

Mnie osobiście boli to, że "poprawę" można było uzyskać w o wiele łatwiejszy sposób przez zwiększenie dystansu punktowego pomiędzy listą A i B. Dziś publikując 3 arty po 8 pkt w polskim czasopiśmie, którego prawie nikt nie czyta, dostaje się praktycznie tyle samo co za 1 publikację w journalu z listy A za 25 pkt, który ma zasięg międzynarodowy, czyli na tym przykładzie 1A = 3B. To jest cyrk, owszem, ale wystarczyło zwiększyć ten dystans, aby np. 1A = 5B z dodatkowym urealnieniem przyznawanej czasopismom punktacji.

> Tymczasem z perspektywy nauki polskiej, szczególnie w obszarze nauk społecznych
> każdy artykuł w czasopiśmie z IF>1 z afiliacją polską jest bardzo cenny. T
> u chodzi nie tylko o punkty, a raczej uzyskanie masy krytycznej. W wielu przypa
> dkach w socjologii, psychologii społecznej, zarządzaniu czy ekonomii publikacja
> artykułu zależy nie tylko od jakości metod i danych (tu kryteria są wysokie, a
> le stosunkowo łatwo je spełnić) ale też od argumentacji i jakby to rzec... prze
> konania, że autorzy nie są Boratami z III świata, którzy właśnie nauczyli się j
> eść widelcem i nożem.

Niestety nie tylko w socjologi, itd. W naukach technicznych też bywa podobnie. Problem też tkwi w tym, że zagraniczne ośrodki w wielu journalach, znajdujących się na szczytach rankingów Scopusa, praktycznie cały czas obsadzają stołeczki editorskie. Na zachodzie funkcjonują dokładnie te same patologie co u nas, tylko są one trochę lepiej ukryte i się o nich otwarcie nie mówi nawet w kuluarach.
Jak jesteś rozpoznawalnym profesorem z jednego z topowych uniwerków w zachodniej Europie, to spokojnie twój doktorant może napisać całkiem przeciętną publikację nawet do najlepszego journala, bo twoje nazwisko ją przepchnie.

> Tak więc seryjne publikowanie przez socjologów czy ekonomistów z Polski w przyz
> woitych czasopismach z IF w przyszłości umożliwi zapobiegnięcie takiej sytuacji
> , gdy za samą afiliację z PL automatycznie dostaje się desk rejection - dokładn
> ie tak jak koledzy z Iranu, Pakistanu i Nigerii.

W innych dziedzinach często też, nawet jeśli nie automatic rejection, to poprzeczka jest od razu stawiana sporo wyżej.
Sam zaliczyłem już w tym roku 1 rejecta (na etapie wstępnej oceny, bez wysłania do peer review) z powodu zastosowania "niewystarczająco zaawansowanych" metod w swoich badaniach, których wyniki chciałem opublikować, dodatkowo ze standardową adnotacją, że w danym journalu dostają masę zgłoszeń i po prostu nie są w stanie wszystkiego opublikować na swoich łamach.

Nie przejmowałbym się, gdyby nie dwie rzeczy:
- w ostatnich 2 latach opublikowali co najmniej 2 artykuły oparte na tych samych metodach, tyle, że jeden z Francji, a drugi ze Szwajcarii, gdzie dopisani byli pewni profesorowie z kręgu "nie ważne o czym, ważne kto";
- ten journal jest regularnie zapychany publikacjami z wąskiego grona uczelni, które najczęściej są publikowane pod szyldem paru dobrze znanych profesorów ("publikujących" tyle rocznie, że dobrze jeśli w ogóle mają czas czytać i sprawdzać to co im ich doktoranci podsuną) i na pozostałe "sloty" publikacyjne nie ma dużo miejsca, więc i poprzeczka jest stawiana wysoko.

Niestety, po części rozumiem z czego wynika ta praktyka odrzucania krajów takich jak nasz, a promowania "swoich" i ludzi z już uznanymi nazwiskami. Journal musi się sprzedać, bo to jest biznes, a żeby się sprzedał, inni ludzie muszą go czytać i cytować. Więcej ludzi przeczyta i zacytuje artykuł prof. z którego z top 10 uniwerków na świecie, niż jakiegoś człowieczka z Polski, nawet gdyby to był dokładnie ten sam artykuł.

> Dodatkowo niestety jest tak, że spośród tych 20% najlepiej publikujących jakieś
> 10% prac tak naprawdę cokolwiek wnosi.

I to patrząc optymistycznie. W mojej branży, gdzie można by się spodziewać znacznego nakierowania na aplikacyjność badań, może 1% publikacji z samych topowych journali ma jakąkolwiek wartość praktyczną. Co najmniej 50% to śmietnik albo "szum" publikacyjny. Wiele osób często na siłę "rozbija" publikacje na wiele artykułów albo publikując praktycznie te same wyniki pod różnymi tytułami, w trochę zmienionym kontekście, w kilku journalach na raz.

> Jeśli więc ci ludzie będą mieli się ogr
> aniczać w publikowaniu - to szanse na publikację wysoko cytowanych artykułów (p
> iszę o czystej bibliometrii, nie o przełomowych odkryciach) drastycznie spadają
> . Bo nie da się w 100% przewidzieć, co ludzie będą cytować.

Niestety ja się już zdążyłem nauczyć, że za cytowalność w dużej mierze odpowiada "wstrzelenie się" z tematyką oraz dotychczasowa rozpoznawalność swojego nazwiska w obrębie badań nad daną tematyką.

[flamengista]

"Mnie osobiście boli to, że "poprawę" można było uzyskać w o wiele łatwiejszy sposób przez zwiększenie dystansu punktowego pomiędzy listą A i B. Dziś publikując 3 arty po 8 pkt w polskim czasopiśmie, którego prawie nikt nie czyta, dostaje się praktycznie tyle samo co za 1 publikację w journalu z listy A za 25 pkt, który ma zasięg międzynarodowy, czyli na tym przykładzie 1A = 3B. To jest cyrk, owszem, ale wystarczyło zwiększyć ten dystans, aby np. 1A = 5B z dodatkowym urealnieniem przyznawanej czasopismom punktacji."

> No i takie były założenia reformy, te początkowe. Przecież w zasadzie miała być zlikwidowana lista B a pomoc dla czasopism z listy B miano ograniczyć do 250 czasopism, z rozbiciem na dyscypliny. No ale podniósł się wrzask i grupa dotychczasowych beneficjentów ruszyła do kontrofensywy. Stąd pierwiastki, stąd pozostawienie punktacji za rok 2017-2018 (przecież początkowo planowano nową punktację wg. nowych kryteriów w 2018 i to za okres 2017-2018!) stąd absurdalna punktacja za rozdział w akredytowanym wydawnictwie krajowym. To nie przypadek, to sobie wychodziła GTW.

Co do "forów" w publikowaniu to oczywiście masz rację. Nie pozostaje nam nic innego jak zaciskać zęby i robić swoje. Pewnym sposobem obejścia tego problemu jest publikowanie ze współpracownikami z zachodnich uczelni. I fajnie by było, gdyby ministerstwo za to nie karało...

Fetysz cytowalności mi się nie podoba, ale skoro Emanuel Kulczycki dostał co chciał, to bibliometria stanie się podstawowym narzędziem oceny na poziomie indywidualnym, ale też z czasem - na poziomie poszczególnych uczelni. Tymczasem mechanizmy zaproponowane w ustawie 2.0 i rozporządzeniach nie wspierają cytowalności. W zarządzaniu np. zamiast ciekawych prac na pograniczu zarządzania i socjologii organizacji (np. rola sieci biznesowych) z szansami na publikacje w topowych żurnalach bardziej będzie się opłacało napisać "bezpieczną" pracę z barier internacjonalizacji w dolnych rejestrach Scopusa. Szanse, że ktoś zacytuje takie prace są marne - wiele czasopism na Scopusie z q4 wydawanych jest przez bardzo dziwne wydawnictwa, dostęp do artykułów jest bardzo ograniczony jeśli nie niemożliwy.

[dystansownik]

flamengista napisał:
> Co do "forów" w publikowaniu to oczywiście masz rację. Nie pozostaje nam nic in
> nego jak zaciskać zęby i robić swoje.

To niestety prawda. Tylko w pewnym momencie odbiera to już człowiekowi motywację. Trzeba wkładać przynajmniej 50% więcej wysiłku niż inni aby tylko przetrzeć szlak.
Smutne jest też to, że w takim wypadku nie daje to wielkich perspektyw dla młodych ludzi, którzy dopiero chcieliby wejść w naukę. Mając wybór zostania w Polsce, albo wybrania doktoratu na przyzwoitej zagranicznej uczelni, druga opcja to jedyne co ma sens, bo od razu na wejściu daje lepszy start.

> Pewnym sposobem obejścia tego problemu je
> st publikowanie ze współpracownikami z zachodnich uczelni. I fajnie by było, gd
> yby ministerstwo za to nie karało...

Dokładnie, też tak uważam. Zresztą ostatnimi czasy staram się nakierowywać moje wysiłki publikacyjne dokładnie w tym kierunku. Brak "forów" gdy pisze się samodzielnie to jedno, ale pisząc z kimś z zagranicy ma się o wiele większą szansę, że ktoś w ogóle przeczyta publikację i ją potem zacytuje.

> Fetysz cytowalności mi się nie podoba, ale skoro Emanuel Kulczycki dostał co ch
> ciał, to bibliometria stanie się podstawowym narzędziem oceny na poziomie indyw
> idualnym, ale też z czasem - na poziomie poszczególnych uczelni.

I mi się to też nie podoba, bo cytowalność nie jest liniowo uzależniona od jakości badać, itd. Tu powstaje pewnego rodzaju efekt kuli śnieżnej, jeśli czyjeś prace są często cytowane, zwiększa to szanse, że będą jeszcze częściej cytowane, a największy problem jest z przebiciem się do grona nawet średnio cytowanych autorów.
Skutkuje to, moim zdaniem absurdem, że na poziomie indywidualnym np. do habilitacji, która teoretycznie wymaga przedstawienia "osiągnięcia naukowego" dopuszcza się ludzi z indeksem hircha 3 i ledwie kilkunastoma cytowaniami (WoS, Scopus), co jest często efektem kilkunastu lub wręcz kilkudziesięciu lat ich pracy. W praktyce, większości naszych naukowców często nie cytuje nikt poza nimi samymi i ludźmi z ich jednostek.

> Szanse, że ktoś zacytuje takie
> prace są marne - wiele czasopism na Scopusie z q4 wydawanych jest przez bardzo
> dziwne wydawnictwa, dostęp do artykułów jest bardzo ograniczony jeśli nie niemo
> żliwy.

W przypadkach tego typu czasopism są dwa problemy:
1. Dostęp - u niektórych nawet uznanych wydawców subskrypcje instytucjonalne są czasem oddzielne dla poszczególnych journali, więc najczęściej wykupuje się je do topowych journali, a często już do tych z Q2 nie ma się dostępu.

2. Dziś w obrębie poszczególnych dziedzin mamy dziesiątki lub setki journali które publikują po kilkadziesiąt artykułów rocznie. Nawet mając dostęp do nich wszystkich i ograniczając się do artykułów ze swojego kręgu zainteresowań tematycznych (pomijam kwestie bardzo wąskich specjalizacji), praktycznie nie ma szans aby czytać to wszystko i zwykle ludzie ograniczają się do śledzenia Q1, z ewentualnym przeszukiwaniem Q2 i Q3 gdy szukają publikacji z bardzo konkretnej tematyki, a i to tylko gdy muszą zrobić porządną przeglądówkę.

I tu kółko się zamyka. Journale które są na topie są tam, bo są cytowane, a jednocześnie są najczęściej cytowane, bo są na topie.

[kragon]

Dystansowniku,
masz racje. I dlatego nie warto publikowac znaczaco poniżej topu, bo i tak tego nikt nie obejrzy. Oczywiście w zaleznosci od dyscypliny i poddyscyliny to moze byc ciut wiecej niz Q1. A i w Q1 jest sporo badziewia...

[js.c]

Prawie każda reguła jest 'durna' z pewnego punktu widzenia. Obecne reguły niesamowicie faworyzują wielkie (liczące setki czy tysiące osób) kooperacje, publikujące co najmniej kilkanaście, a częściej kilkadziesiąt wysokopunktowanych publikacji ROCZNIE (autorami każdej są wszyscy udziałowcy wielkiej kooperacji). Obecnie jedna osoba ma więc około setki (a czasem i paru setek) publikacji 35-50 pkt za okres parametryzacji. Na naszym wydziale też jest jedna osoba, "załatwiająca" parametryzację połowy (dosłownie) naszego małego wydziału. Czy to nie jest durnota? Od tego czy ta kooperacja wyprodukuje 5 czy 10 papierów rocznie więcej zależy więcej niż od jakiejkolwiek działalności na wydziale.

Podstawowy błąd

[js.c]

Głównym błędem nowych reguł jest jednoczesne zastosowanie dwóch leków na tę samą chorobę. Niestety kombinacja ta jest toksyczna, co świetnie argumentuje trzy.14.
Mianowicie: po pierwsze, znacznie zmniejszono wagę prac współautorskich, a zwłaszcza kooperacyjnych, a po drugie wprowadzono limit prac od jednego pracownika. To pierwsze posunięcie jest (moim zdaniem) sprawiedliwe, ale wymaga automatycznego obniżenia wskaźnika 3N (może do 2N). To drugie posunięcie byłoby dobre przy braku tego pierwszego. Naczynia połączone...

[js.c]

Niestety pamiętać trzeba, że Kryterium 1 jest w wielu dyscyplinach mało istotne (być może nowe reguły, mimo swych wad, to zmienią). Decydują: głupie kryterium 2 (de facto: zdolność do wyciągania pieniędzy z budżetu) oraz arbitralne i mało transparentne kryterium 3,

[dystansownik]

js.c napisał(a):
> Prawie każda reguła jest 'durna' z pewnego punktu widzenia. Obecne reguły niesa
> mowicie faworyzują wielkie (liczące setki czy tysiące osób) kooperacje, publiku
> jące co najmniej kilkanaście, a częściej kilkadziesiąt wysokopunktowanych publi
> kacji ROCZNIE (autorami każdej są wszyscy udziałowcy wielkiej kooperacji). Obec
> nie jedna osoba ma więc około setki (a czasem i paru setek) publikacji 35-50 pk
> t za okres parametryzacji.

Jest to bezsens, ale czy nie w podobny sposób działa nauka na świecie? Pewien profesor, z mojej działki, z EPFL z Lozanny, uczelni będącej jednym z największych kombajnów naukowych przerabiających granty ERC, publikuje po kilkadziesiąt publikacji rocznie w topowych journalach ze swojej dziedziny. Dlaczego? Bo stworzyli sobie system na to pozwalający i w praktyce na "jego" sukces, a tym samym sukces jego katedry, pracuje kilku czy kilkunastu doktorantów. Jest to chore i patologiczne, ale działa.

[trzy.14]

U nas jest tak samo, tyle że nasz wydział jest większy, to i wpływ na parametryzację jednaj osoby nie sięga aż 50%.

Co więcej, te osoby, które "robią" parametryzację, zwykle mają tylko marginalne znaczenie dla dydaktyki. Przecież doba ma tylko 24 godziny! Nie mają też żadnego związku z przemysłem czy innymi tego rodzaju fanaberiami. Przegięcie jest ogromne.


js.c napisał(a):

> Prawie każda reguła jest 'durna' z pewnego punktu widzenia. Obecne reguły niesa
> mowicie faworyzują wielkie (liczące setki czy tysiące osób) kooperacje, publiku
> jące co najmniej kilkanaście, a częściej kilkadziesiąt wysokopunktowanych publi
> kacji ROCZNIE (autorami każdej są wszyscy udziałowcy wielkiej kooperacji). Obec
> nie jedna osoba ma więc około setki (a czasem i paru setek) publikacji 35-50 pk
> t za okres parametryzacji. Na naszym wydziale też jest jedna osoba, "załatwiają
> ca" parametryzację połowy (dosłownie) naszego małego wydziału. Czy to nie jest
> durnota? Od tego czy ta kooperacja wyprodukuje 5 czy 10 papierów rocznie więcej
> zależy więcej niż od jakiejkolwiek działalności na wydziale.
>
>

[dystansownik]

trzy.14 napisał:
> Co więcej, te osoby, które "robią" parametryzację, zwykle mają tylko marginalne
> znaczenie dla dydaktyki. Przecież doba ma tylko 24 godziny!

I tu akurat podział uczelni i ich pracowników na dydaktycznych i badawczych ma sens. Nie można być specjalistą od wszystkiego. Problem w tym, że choć podział jest, chyba nadal brakuje odgórnej wizji tego na czym tak naprawdę powinno się koncentrować, produkowaniu publikacji, czy kształceniu wysoko wykwalifikowanych kadr dla przemysłu. Bądźmy szczerzy, "dydaktycy" (uczelnie i pracownicy na tym się skupiający) w nowym systemie będą i tak widziani jako gorsi od "badaczy".

> Nie mają też żadne go związku z przemysłem czy innymi tego rodzaju fanaberiami.

Nauka na świecie od jakiegoś czasu bardzo skręca w kierunki oderwane od rzeczywistości z jaką mamy do czynienia w przemyśle. O tym aspekcie jednak nadal zapomniano, a właśnie w tym nasza nauka mogłaby się wyróżniać.

[flamengista]

Korekta: "dydaktycy" (uczelnie i pracownicy na tym się skupiający) w KAŻDYM systemie będą i tak widziani jako gorsi od "badaczy".

Znajomy pracuje w WB na pozycji teaching assistant i jest traktowany jak parias. Tak samo jak pracownicy niemieckich Fachhochschule. I oczywiście nauczyciele z a amerykańskich teaching universities.

Więc fajnie by było, gdyby ministerstwo nie wciskało nam kitu. Chcą 90% akademików zdegradować do underclass - niech powiedzą to otwarcie. Tylko wtedy ministra G. wraz z jego wesołą gromadką związki wykąpałyby w smole, wytarzały w pierzu i wyniosły na szynie - jak na Dzikim Zachodzie.

[trzy.14]

flamengista napisał:

> Chcą 90% akademi
> ków zdegradować do underclass - niech powiedzą to otwarcie.

10/10

> Tylko wtedy ministr
> a G. wraz z jego wesołą gromadką związki wykąpałyby w smole, wytarzały w pierzu
> i wyniosły na szynie - jak na Dzikim Zachodzie.

Co to za związki, które takich oczywistości nie widzą?

[czlowiek.z.makulatury]

Po uchwaleniu ustawy 2.0 idzie dwóch polskich naukowców. Nagle jednak jeden w coś wdepnął:
- Kurwa, w coś wdepnąłem.
- A co to takiego?
- Nie wiem, ale damy do parametryzacji.

[bob-budowniczy]

A czy ktoś jest wstanie powiedzieć dlaczego nastąpiła nagła odwyrtka od WoS do Scopusa?

[tadeusz.rysiakiewicz]

fizycy tym razem przegrali z humanistami

[nobooks]

Z podobnych powodów, dla których NSF dokonała takiej zmiany.

[trzy.14]

bob-budowniczy napisał:

> A czy ktoś jest wstanie powiedzieć dlaczego nastąpiła nagła odwyrtka od WoS do
> Scopusa?

Na przykład ten rysunek:



Oczywiście NSF-u nie interesuje to, czy w PL używa się WoS czy Scopus, lecz chcą mieć lepsze rozeznanie, co dzieje się w Chinach i okolicach, a w tym Scopus jest podobno lepszy.

www.elsevier.com/research-intelligence/campaigns/nsf-sei