błąd NCN

29.01.12, 19:29
trafiłem na dane jednoznacznie świadczące o tym, że przynajmniej w przypadku historyków (ale przypuszczam, że dotyczy to większości humanistów) NCN popełnia istotny błąd przy ocenie wniosków o granty; jednym z ważnych kryteriów jest ocena dotychczasowego dorobku kierownika grantu oparta na indeksie H, który delikwent musi sobie wyliczyć na podstawie danych z baz cytowań; okazuje się, że historyk może sobie wyliczyć za przeproszeniem g.... a nie indeks H - powody: o tym, że bazy ISI i Scopus dyskryminują humanistykę nie muszę chyba pisać, prace humanistów stanowią jedynie 2,5% zawartości tych baz; do tego dochodzi dyskryminacja czasopism w języku polskim (i innych nieangielskich), a przecież dla historii udział języka narodowego w całości dorobku waha się w przedziale 95,6-98,8% (Francja - 98,8; USA - 98,8; W. Brytania - 98,7; Włochy - 98,7; Niemcy - 96,1; Polska - 96,0; Hiszpania - 95,8; Rosja - 95,6); dalej - bazy te nie uwzględniają cytowań w książkach autorskich i pracach zbiorowych, a jak obliczono na podstawie prac dotyczących historii polskich mediów (sądzę, że dla całości historii dane będą podobne) artykuły w czasopismach stanowią ok. 55% pozycji cytujących i wyprodukowały ok. 32% cytowań; książki stanowią 13% pozycji cytujących i wyprodukowały ok. 47% cytowań; artykuły w pracach zbiorowych stanowią ok. 29% pozycji cytujących i wyprodukowały ok. 18% cytowań (reszta do 100% przypada na inne formy publikacji naukowych); tak więc wszelkie liczenie dorobku historyka oparte na indeksie cytowań, nie obejmujące książek i prac zbiorowych, pozbawione jest sensu, równie dobrze można rzucać kostką lub losować; próby oceny humanistów narzędziami wypracowanymi dla nauk ścisły pozbawione są sensu, dlaczego wobec tego NCN to robi? czyżby twórcy, za przeproszeniem, reformy nauki nie pokusili się na zdobycie danych koniecznych do podejmowania decyzji?
    • jael53 Re: błąd NCN 29.01.12, 19:45
      Nie pokusili się. Ponieważ dla (tfu)rców tej "reformy" jest niezbitym pewnikiem, że skoro coś nie ma najbardziej bezpośredniego "przełożenia na rynek", to nie ma wartości. Nie wątpisz chyba, że dla obecnej staro-nowej ekipy takie pojęcia, jak uniwersytet arnoldiański, uniwersytet humboldtowski czy (za przeproszeniem) uniwersytet kultury to są hasła dosyć puste. Natomiast mają ten paskudny nawyk myslenia magicznego, z młodości własnej wyniesiony: zaklinania się na wiodąca naukę... kiedyś radziecką, dziś - amerykańska.
      • proon Re: błąd NCN 29.01.12, 19:56
        czyli jesteśmy w Polsce; reforma = tworzenie nowych patologii
    • dala.tata Re: błąd NCN 29.01.12, 19:57
      a na czym polega ten blad, bo nie lapie?

      jak dl amnie to sprawy wygladaja nastepujaco: podjeto decyzje, zeby projekty oceniac rowniez na podstawie indeksu Hirscha. mozna sie z ta decyzja zgadzac lub nie (o tym, ze bibliometria czy scjentometria niespecjalnie dziala w wypadku humanistyki bylo rowniez tu ad usrandum). nadal jednak nie widze bledu. proon, wyjasnij, gdzie jest ten blad? co takiego odkryles, czego wszyscy nie wiemy?
      • nullified Re: błąd NCN 29.01.12, 20:12
        o jak ty go nie lubisz :)

        nihil novi sub sole z tym czy "siamtym" indeksem.

        Status i watpliwości dot. bibliometrii w odniesieniu do "humanistyki" tak - rzecz znana, podnoszona przez samych bibliometrów. Zwłaszcza w odniesieniu do szeroko rozumianych nauk "miętkich", gdzie rzeczywisty postep badawczy liczy się raczej w dekadach a bywa ze kilku, niz w miesiacach czy latach (jak niekiedy w fizyce np).

        Biurokraci maja te watpliwosci rzecz jasna w poważaniu bo im trzeba "cytatometra" albo "artykulokilogramu" by obliczać że Kowalski lepszy jest od Nowaka to mu sie sypnie "n" dotacji "cy cuś tam".

        W praktyce jest z tym bardzo różnie, ale kogo to obchodzi?

        Proon po prostu nie chce sie chyba pogodzic z tym, że zostal uznany (razem z cała reszta "nieproduktywnych dla wzrostu x") do czynników skazanych na kopa.
        • proon Re: błąd NCN 29.01.12, 20:20
          "Proon po prostu nie chce sie chyba pogodzic z tym, że zostal uznany (razem z cała reszta "nieproduktywnych dla wzrostu x") do czynników skazanych na kopa." - i to się zgadza, dlatego też z całą, sporą gromadką zaliczaną do nieproduktywnych (w sensie indeksu H) szykujemy się, by zamiast zbierać kopy - na kopach wyprowadzić z Polski pseudoreformatorów nauki; jak im się zachodnie metody tak podobają, to nie tam spier...
      • proon Re: błąd NCN 29.01.12, 20:16
        błąd polega na tym, że o przyznaniu grantu decydować będą informacje przypadkowe, zupełnie nic nie mówiące o wpływie danego człowieka na rozwój nauki; krótko i po wojskowemu - to że jeden historyk będzie miał indeks H wyższy od drugiego staje się rezultatem przypadku i nie oznacza, że jego prace są częściej cytowane, a on sam ma większy wpływ na naukę; gdybyś przypadkiem chciał coś wspomnieć o czasopismach angielskojęzyczhych indeksowanych w ISI i Scopus, w których pojawiają się prace polskich historyków - widziałem dane dotyczące tych, którzy zajmują się najnowszą historią Polski - artykuły zamieszczone w tych czasopismach mają cytowalność 0 (słownie zero) a kilkanaście sztuk uzyskało 1 (słownie jeden) cytat (a kto ma ich cytować? obcokrajowców znających się na najnowszych dziejach Polski jest raptem kilku, a polscy badacze mają do czytania wystarczająco dużo materiałów po polsku) ; dodam, że obliczona cytowalność wielu osób zajmujących się historią mediów w Polsce przekracza w przypadku ich kilku, a nawet kilkunastu prac wskaźnik 50; ale ci, co mają cytowalność pojedynczych publikacji w czasopismach angielskojęzycznych na poziomie 1 zbudują sobie lepszy indeks H niż ci, których wiele prac było cytowanych po kilkanaście czy kilkadziesiąt razy - tak więc więcej punktów do grantu dostaną ci którzy mają wyraźnie mniejszy wpływ na rozwój nauki - i to jest ten błąd NCN
        • adept44_ltd Re: błąd NCN 29.01.12, 20:50
          ale to nie błąd... po prostu durny przepis... choć ja bym wolał, by ktoś się u nas solidnie zajął bibliometrią humanistyczną i już parę rzeczy byłoby wiadomych, bo podejrzewam, że z 80% demiurgów humanistyki w ogóle nie jest cytowana...
          • proon Re: błąd NCN 29.01.12, 21:03
            " ja bym wolał, by ktoś się u nas solidnie zajął bibliometrią humanistyczną" - problemem jest brak baz danych, ich stworzenie wymaga pieniędzy, a tych NCN nie da, bo to nie badania na rzecz rozwoju teorii; NPRH nie przewiduje finansowania takich zadań; NCBR też nie da, bo humaniści, którzy podjęliby się takiego zadania, mają mizerne indeksy H w porównaniu z badaczami z dziedzin eksperymentalnych i technicznych; a stworzenie bazy danych, zawierającej cytowania z kilkudziesięciu lat w kilkudziesięciu tysiącach książek i kilkuset czasopismach, w czynie społecznym raczej nie uda się
            • nullified Re: błąd NCN 29.01.12, 21:11
              wiesz proon...

              ...jeszcze bardziej zalamujące sa te dywagacje "a co to monografia jest a co nie" gdzie sie przelicza "arkusze" jej... jakby donioslosc dziela wyliczała sie w tym ile stron delikwent zasmarował... itd. Młodzierz mawia i pokazuje *facepalm*.

              Że o przeświadczeniu, że jak cos nie istnieje po angielsku to nie istnieje wcale (równie madre jak stwierdzenie czego w "guglu ni mo tego ni mo") razem daje taki cudny koktajl.

              Takich kwiatkow jest wiecej. W polączeniu z arogancją i ewidentną niekompetencją cóz - kon jaki jest kazdy widzi.
            • hugow indeks H humanistów 29.01.12, 22:30
              indeks H humanistów nie jest mniejszy niż w naukach eksperymentalnych, jeśli jednoautorski artykuł humanisty został zacytowany 5 razy to jest to więcej niż artykuł piętnastoautorski zacytowany 74 razy. Podobnie IF = 0,7 humanistycznego czasopisma dla jednoautorskiego artykułu to znacznie więcej niż IF = 10 dla artykułu piętnastoautorskiego. Również IF = 0,7 humanistycznego czasopisma dla badań za 100.ooo to znacznie więcej niż IF = 10 dla badań za 1500.ooo.
              Jeśli urzędnicy lubią cyferki - to niech dzielą łączny IF z publikacji grantowych oraz łączny indeks H wypracowany w wyniku grantu przez ilość pieniędzy wydanych na jego wytworzenie i przez ilość dusz zaangażowanych w ich wygenerowanie. Inaczej jest to ściema, polegająca na tym, że 10 skarłowaciałych w wyniku patologii (stojących jeden drugiemu na ramionach) jest wyższych od jednego zdrowego.
              • proon Re: indeks H humanistów 31.01.12, 09:26
                sprostowania:
                citation impact, który dla korpusu science i technology oscyluje w granicach 5,02-18,59, dla social scince jest średnio dwukrotnie niższy 2,80-6,48, a w przypadku humanities ledwie symboliczny 1,35-1,80 - to jest stan rzeczy dla baz ISI i Scopusn- tak więc zasadne jest twierdzenie, że w humanistyce raczej trudno zdobyć indeks H porównywalny do science i technology
                "Jeśli urzędnicy lubią cyferki - to niech dzielą łączny IF z publikacji grantowych oraz łączny indeks H wypracowany w wyniku grantu przez ilość pieniędzy wydanych na jego wytworzenie i przez ilość dusz zaangażowanych w ich wygenerowanie." - ale tego nie robią, ci z NCN po prostu każą sobie przedstawić H kierownika grantu, a jak nie ma (bo się kierownikowi nie chce przeszukiwać kilkuset książek i paru tysięcy artykułów w poszukiwaniu, kto i kiedy go cytował) to uwalają wniosek o grant
    • hugow Re: błąd NCN 29.01.12, 22:17
      indeks H wogóle się nie liczył
      w mojej katedrze, poza mną nikt tego nie liczył (bo nie miał, H = 0), a otrzymaliśmy, 4 granty, czyli 3 na 4 granty przypadły osobom bez dodatniego H.
      Osobiście poza tym z ISI, gdzie H=2, oraz tego z Google, gdzie H = 5, wyliczyłem swój H na podstawie własnych poszukiwań z uwzględnieniem książek itp. i wyszło H = 6, link do swej strony: michalskig.com/indeksH.pdf podałem we wniosku o grant jako dokumentujący wyliczenie. Zatem problemy jakie opisujesz - być może istnieją, jednak nie są wcale trudne do obejścia. Poza tym dziwne argumenty stosujesz - wnioski są porównywane w ramach własnych paneli, to raz. Po drugie jeśli jest w tych bazach 2,5% prac z jednej z ponad 40 dziedzin, to akurat wychodzi 1/40, może nawet dochodzi do preferowania a nie dyskryminacji.
      Z ekonomii są polskojęzyczne czasopisma, ale oczywiste jest, że skoro języków jest wiele, to nie można oczekiwać, że polskojęzycznych czasopism będzie więcej niż rosyjskojęzycznych (a chyba właśnie tak jest) albo dużo więcej niż rumuńskojęzycznych. Będę ciekaw jakie są porównania - nie wiem tego.
      • proon Re: błąd NCN 31.01.12, 09:31
        kolejne sprostowania:
        " indeks H wogóle się nie liczył" - a u mnie się liczył i sądząc z punktacji (bo recenzja jest dalej tajna) fakt, że nie chciało się mi szukać danych do wyliczenia tego indeksu spowodował odrzucenie wniosku;
        szukanie danych w Googlach - to chyba żart, przecież to narzędzie nawet nie indeksuje poprawnie i w miarę kompletnie tego co jest w bibliotekach cyfrowych, a co z książkami papierowymi??
        "Poza tym dziwne argumenty stosujesz - wnioski są porównywane w ramach własnych paneli" - ale panele występują w NCN a nie w NCBR, a tylko w tej drugiej instytucji można by ewentualnie wnioskować o grant na bazę cytowań w humanistyce (bo to dzieło praktyczne a nie rozwój teorii naukowej)
Inne wątki na temat:
Pełna wersja