Abandoning journal impact factors

[rysiek_1]

news.sciencemag.org/scienceinsider/2013/05/call-to-abandon-journal-impact-f.html

[zitterbewegung]

Gordon Macomber, nowy prezes Thomson Reuters już rok, czy pół roku temu wypowiedział się na łamach Times Higher Ed, że faktory nie powinny być stosowane jako podstawy decyzji, a tylko jako wstępna orientacja.

Z faktorami jest też problem czysto matematyczny, czego sygnatariusze tego protestu nie zauważając, stwarzając przez to wrażenie, że po prostu lobbują we własnym interesie (oh my, it can be gamed! results are skewed! my results that is!). Statystycznie skalkulowanie faktoru nie dostarcza więcej informacji niż prosta bibliometria. Np indeks h jest zupełnie redundanty z sumaryczną liczbą cytowań, nie dostarcza innej informacji a tylko sprawia wrażenie bardziej fair.

ig indeks H

[klisiewitz]

Sam indeks H nie jest reduntantny z sumą cytowań.
Teoretycznie jest to miara lepsza.

oczywiście powodów do cytowania może być sporo - i nie zawsze chlubne
na przykład z rachunkowości jest w Rzeszowie prof. Jerzy Kitowski
www.univ.rzeszow.pl/wydzialy/ekonomii/dla-studentow/konsultacje/zaklad-finansow/dr-hab-jerzy-kitowski-prof-ur
Od kilku lat profesor ten krytykuje autorów, rozliczając ich z błędów. A cytuje obficie po kilkadziesiąt prac w jednym artykule - chwali niewielu, zazwyczaj punktuje z błędy i wypaczenia. Ponieważ cytuje obficie - to niektórzy dzięki niemu uzbierali całkiem spory "ig indeks H"
No i to wieloautorstwo - Ig Nobla z literatury w 1993 roku przyznana dla E. Topola, R. Califfa, F. Van de Werfa, P. W. Armstronga oraz 972 współautorów, za opublikowanie artykułu naukowego z medycyny, w którym liczba autorów jest większa 100 razy od liczby stron artykułu. Wystarczy, że każdy z tych 977 autorów opublikuje 1 artykuł i zacytuje 976 pozostałych prac i dopisze 976 kolegów - po tygodniu każdy z nich ma indeks numer H równy 977 i "tylko" 977 cytowań.

[zitterbewegung]

Ojtam. Jest, może nie na gruncie teorii informacji, ale statystycznie, na podstawie danych z których jest wyliczany i pod jakie został skonstruowany, bo indeks h odzwierciedla tylko pewną obserwację jaką Hirsch wyciągnął z danych, a nie prawo przyrody. No, w tym momencie już nie, bo przez powszechne stosowanie stał się niejako prawem i "przyroda" przez sprzężenie zwrotne idealnie się do niego stosuje (co tym bardziej czyni go redundantym i nieniosącym informacji). Przykład z korpusu cytowań w astrofizyce: arxiv.org/abs/1201.5476

Nie rozumiem Twojego przykładu. H jest zdefiniowany jako liczba H publikacji cytowanych przynajmniej H razy, więc skąd 977 publikacji?

[klisiewitz]

> Nie rozumiem Twojego przykładu. H jest zdefiniowany jako liczba H publikacji cy
> towanych przynajmniej H razy, więc skąd 977 publikacji?

rozumiem to tak, że każda z 977 prac ma 976 przypisów - cytowań

[pfg]

klisiewitz napisała:

> No i to wieloautorstwo - Ig Nobla z literatury w 1993 roku przyznana dla E. Top
> ola, R. Califfa, F. Van de Werfa, P. W. Armstronga oraz 972 współautorów, za op
> ublikowanie artykułu naukowego z medycyny, w którym liczba autorów jest większa
> 100 razy od liczby stron artykułu.

Oj tam, oj tam. W fizyce to normalne. Proszę poczekać na publikacje z LHC, tam będzie koło 1500 współautorów. Czasopisma fizyczne już jakiś czas zmądrzały na tyle, że nie drukują pełnej listy autorów, a tylko pierwszego i nazwę "kolaboracji" (świeżutki przykład ze skromną liczbą 69 współautorów). Wiadomo też, że takie "kolaboracyjne" prace istotnie podwyższają indeks Hirscha uczestników; ten problem co rusz wychodzi przy habilitacjach, profesurach i różnych ocenach. Fizyk fizykowi nierówny - prace cząstkowców, a także innych doświadczalników, są cytowane znacznie częściej, niż prace fizyków matematycznych. A prawdziwi matematycy mają jeszcze gorzej.

ig indeks Hi hi

[klisiewitz]

Ale te kolaboracje właśnie powstały w odpowiedzi na durne wskaźniki.
Wystarczy, że 9000 pracowników polskich, czeskich, słowackich, litewskich z HS stworzy kolaborację Xcv i każdy z nich aby być w kolaboracji zobowiąże się publikować minimum 1 artykuł indeksowany w WoS i dopisać 'kolaborację' do autorów i zacytować minimum 5 ostatnich swoich artykułów z kolaboracją. OBY ktoś na to wpadł i zrobił - bo to może otworzy ludziom oczy.

Google Scholar z bazującym na nim Publish or Perish indeksuje wszystkie śmieci. Mój znajomy bierze udział w przetargach jako ekspert dla publicznych finansów. Są to malutkie zlecenia po 200 zł w porywach do 1100 zł, ale na każdą pierdółkę procedura jest pełna. Wymagają od niego CV z jego pełną listą publikacji. Czasami jest to w 3 językach (jak gmina jest w regionie na Wschodzie Polski i ten region używa polskiego, ukraińskiego, rosyjskiego i słowackiego lub podobnie, czasem z marszu jest po polsku i angielsku). Potem to wklejają do protokołu (protokołów jeśli jest w kilku językach) z postępowania konkursowego. Potem to wisi na stronach gminnych - chwilę - ale wisi, i ma to różne nadęte tytuły i jako autora urzędnika (lub urzędników) odpowiedzialnego za sporządzenie. Ale się kolega zdziwił, że ma w PoP (GS) indeks H ponad 150. Tajemnica okazała się łatwa do odkrycia. W tych CV umieszcza swoje wszystkie ponad 150 publikacji (włącznie z tymi sprzed doktoratu). Zleceń takich już miał kilkadziesiąt w ostatnich latach zaczynał wraz z wejściem do UE lub troszkę wcześniej. Do tego postępowania w których nie wygrał - tam też wisiał - bo przegrani też wiszą w komplecie dokumentacji. Według WoS indeks H = 0, bo to sraczka publikacyjna. W GS i PoP nie ma ani jednego cytatu z czasopisma, nic z ISSN czy z ISBN, wszystko to jego własna dokumentacja przetargowa wklejona przez urzędników do ich dokumentacji.

nie tylko indeks H ponad 100 a też tysiące cytowań

[klisiewitz]

nie tylko indeks H ponad 100 ale też liczbę cytowań idącą w tysiące!

[pfg]

klisiewitz napisała:

> Ale te kolaboracje właśnie powstały w odpowiedzi na durne wskaźniki.

Nie. Kolaboracje są znacznie starsze, niż indeks H, a powstały dlatego, że wielkie eksperymenty wymagają zaangażowania bardzo wielu osób.

ig indeks Hi hi

[klisiewitz]

nie wierzę w to domalowywanie ideologii do zwykłego jeżdżenia na gapę.
Jeśli artykuł ma więcej niż kilku autorów - to jeśli we wstępie nie jest opisane który z autorów co wniósł - można przyjąć, że to zwykłe nieuczciwe dopisywanie się. W publikacjach wieloautorskich dobrym obyczajem jest podać, który punkt, został napisany przez kogo. Jeśli to nie jest ujawnione - należy traktować, że wszyscy poza pierwszym autorem się dopisali i nie należy ich traktować jako współautorów. A jaki wkład może mieć jeden z 1200 autorów w tekście o długości 12 stron? 20 literek? Bo jeśli więcej niż 20 literek, to inny z współautorów wniósł mniej. Ściema - bez jakiejkolwiek wartości. Należy to ukrócić jako kpienie sobie z nauki.

[pfg]

Nie masz pojęcia o współczesnej fizyce eksperymentalnej. Ale to nie mój problem.

[dr_pitcher]

Na podobnej zasadzie niekotre prace z medycyny winny miec po kilkuset autorow. Nawet badania kliniczne nad ktorymi pracuja czesto setki ludzi maja gora 20 autorow. Fenomen prac z fizyki eksperymentalnej z 1000 autorow jest juz przezytkiem.

[pfg]

dr_pitcher napisał:

> Nawet badania kliniczne nad ktorymi pracuja czesto setki ludzi maja gora 20 aut
> orow.

Owe setki osób wnoszą *twórczy* wkład w badania, czy też tylko rekrutują pacjentów, podają im tajemniczą substancję X lub Y, sami nie wiedząc, co podają, a potem notują wyniki kuracji? To nie jest praca naukowa. To jest działalność zawodowa, za którą lekarze, o ile mi wiadomo, są zresztą osobno wynagradzani.

> Fenomen prac z fizyki eksperymentalnej z 1000 autorow jest juz przezytkiem.

Po pierwsze, to nie mój problem, jak dobrze wiesz :-) Po drugie, jakim przeżytkiem, skoro to się dzieje hic et nunc?

[dr_pitcher]

Otoz moj drogi nie do konca jest to tylko mechanika. Pracowalem nad paroma badaniami klinicznymi i wymagalo to nieco wysilku intelektualnego, ale nie twierdz, ze winnenem byc od razu wspolautorem.
W przypadku wiekszosci prac z CERNU autorstwo przypisuje sie osobom, ktore np. wybudowaly jakis tam detektor czy cos podobnego, wscisneli odpowiedni guzik etc. Czy uwazasz, ze tez powinnin byc autorami?

oczywiście że nie są to autorzy a dopisywacze

[hohenstauf]

oczywiście że nie są to autorzy a bezczelni dopisywacze

[apfelstrudel]

O, święta medycyno. A mało jest takich prac? Nie rozbawiajcie mnie. Pierwsze z brzegu przykłady (nie chciało mi się liczyć ilu tam ich jest):Tekst linka
Tekst linka

[dr_pitcher]

Nie tak duzo jak w fizyce.

[sendivigius]

klisiewitz napisała:

A jaki wkład może mieć jeden z 1200 autorów w tekście o długości 12
> stron? 20 literek? Bo jeśli więcej niż 20 literek, to inny z współautorów wnió
> sł mniej. Ściema - bez jakiejkolwiek wartości. Należy to ukrócić jako kpienie s
> obie z nauki.

E=mc2

To tylko 3 literki. Zakpij w ten sposob.

[charioteer1]

klisiewitz napisała:

> Jeśli artykuł ma więcej niż kilku autorów - to jeśli we wstępie nie jest opisan
> e który z autorów co wniósł - można przyjąć, że to zwykłe nieuczciwe dopisywanie się.

Nie, nie mozna przyjac. We wstepie mozna napisac pod warunkiem, ze jest to wstep do ksiazki. Artykul z takim wstepem w kazdym porzadnym czasopismie wyleci z hukiem, nie trafiajac w ogole do recenzji. Do odnotowywania wszystkich faktow, ktore zlozyly sie na powstanie badania przedstawionego w artykule sluzy tzw. author note. Z reguly jest to przypis dolny.

> W publikacjach wieloautorskich dobrym obyczajem jest podać, który punkt,
> został napisany przez kogo.

Publikujac cokolwiek i gdziekolwiek nalezy sie dostosowac do oczekiwan wydawcow. Tylko bardzo nieliczne czasopisma oczekuja szczegolowego sprawozdania, co kto zrobil. Wiekszosci wydawcow to nie obchodzi, poniewaz za zawartosc artykulu odpowiadaja solidarnie wszyscy autorzy.

> Jeśli to nie jest ujawnione - należy traktować, że
> wszyscy poza pierwszym autorem się dopisali i nie należy ich traktować jako ws
> półautorów.

Bzdura.

> A jaki wkład może mieć jeden z 1200 autorów w tekście o długości 12
> stron? 20 literek?

Wkladu w nauke nie mierzy sie w literkach. W stronach i arkuszach wydawniczych tez nie. Byl taki jeden, ktory do nauki wniosl 3 literki, znak rownosci i cyferke w indeksie gornym. Nazywal sie Einstein. Ilosc papieru, ktory poszedl na udowodnienie tego, ma znaczenie drugorzedne.

Dala obruszal sie jakis czas temu, ze rzeczy oczywiste trzeba w Polsce tlumaczyc. Jak widac, trzeba.

CytatNależy w szczególności zwrócić uwagę, że prawo polskie
nie pozbawia praw autorskich nikogo, kto wniósł choćby
najskromniejszy, lecz samodzielny i twórczy wkład
w powstanie dzieła. Współautorem jest więc każdy,
kto napisał niewielki nawet jego fragment, wniósł
jakikolwiek twórczy wkład w jego koncepcję lub układ,
brał udział w projektowaniu badań naukowych, których
wynikiem jest dany utwór.
Link

Wklad w powstanie dziela mozna miec nawet, jezeli sie samemu nie napisalo ani jednej literki. Nie chodzi o dziela literackie, ale o raporty z badan, ktore ktos musi zaprojektowac, przeprowadzic, zanalizowac wyniki i opisac. Zalozenie, ze zawsze to wszystko robi jedna i ta sama osoba, a pozostali sie dopisuja, jest z gruntu rzeczy chore i kontrproduktywne.

> Należy to ukrócić jako kpienie sobie z nauki.

Ten wpis jest kpina z nauki. Uprawianie nauki nie polega na pisaniu. Pisac moze kazdy, ale nie kazde slowo napisane i opublikowane ma jakakolwiek wartosc naukowa. Wizja nauki, w ktorej kazdy pracuje samotnie i sam wszystko robi od a do z jest spozniona o dobrych kilkaset lat.

[trzy.14]

A czy nie jest raczej tak, że kolaboracje powstały tam, gdzie eksperymenty są BARDZO DROGIE, tak drogie, że wymagają zrzutki wielu instytucji z wielu krajów? Każda z tych instytucji musi rozliczyć wydane środki. W nauce najłatwiej rozlicza się wydatki publikacjami. Dlatego podejrzewam, że w kolaboracjach niepisaną zasadą jest, by na liście autorów pojawiła się co najmniej jedna osoba z instytucji członkowskiej, niezależnie od wniesionego wkładu. A jak jedna, to czemu nie pięć? Przecież bez publikacji cztery z tych pięciu osób zostałoby zwolnionych z pracy! I miałoby zamknięty awans zawodowy.

Są w Polsce "kolaboranci", którzy z kolaboracji mają ponad 60 publikacji rocznie. Nikt mi nie wmówi, że można wnieść twórczy wkład do publikacji ukazujących się co tydzień. Można wnieść wkład tfurczy (nazwisko) lub pieniężny (a płaci i tak niczego nieświadomy podatnik).

[pfg]

trzy.14 napisał:

> Nikt mi nie wmówi, że można wnieść twórczy wkład do publikacji ukazujących
> się co tydzień.

Doktryna jest taka: Znaczna część osób wnosi swój wkład przez wiele lat, zanim eksperyment zacznie przynosić rezultaty - na przykład projektując, budując, testując i oprogramowując jakiś detektor czy inny element wielkiego urządzenia. Jest to praca niewątpliwie twórcza i naukowa, choć zgadzam się, że kaliber bywa rózny. Można mieć unikalny pomysł na zmierzenie czegoś, bez czego cały wielki eksperyment nie miałby sensu - Georges Charpak dostał za coś takiego nagrodę Nobla - ale znacznie częściej zdarza się, że jeśli czegoś nie zrobiłby John i jego studenci, z łatwością znaleziono by Hansa lub Jana, którzy zrobiliby funkcjonalnie to samo. A skoro w okresie projektowania, budowy etc tego elementu, co może trwać kilka lat, nie ma z tego prawie żadnych publikacji, poza, być może, jakimiś raportami technicznymi, wykonawcom "płaci się" udziałem w publikacjach, gdy eksperyment wejdzie w fazę zbierania danych. W przeciwnym razie ludzie nie byliby zainteresowani udziałem w tego typu przedsięwzięciach. Gdyby ludzi (szeregowych Johnów, Hansów i Janów) zachęcić po prostu dobrym wynagrodzeniem, wyjazdami, konferencjami, bez oferowania współautorstwa, byłoby to zapewne bardziej uczciwe, ale wtedy gremia oceniające mogłyby uznać, że taki pracownik jest bezproduktywny, gdyż ma bardzo mało publikacji. Ten problem występuje we wszystkich krajach, z których pochodzą badacze uczestniczący w "kolaboracjach".

Jest przy tym prawdą, że udział w "kolaboracjach" bardzo trudno jest uwzględnić w ocenach - instytucjonalnych i indywidualnych. Przy kolejnych polskich ocenach instytucjonalnych gremia oceniające miotają się od ściany do ściany: raz liczą każdemu uczestnikowi-współautorowi wszystkie (prawie wszystkie?) punkty za publikacje "kolaboracyjne", innym razem każą dzielić punkty przez liczbę współautorów, co efektywnie oznacza, że instytucja dostaje za jedną publikację tylko niewielki ułamek punktu. Przy ocenach awansowych jest łatwiej, bo da się wyłuskać indywidualny wkład danego człowieka (przez uwzględnianie niealfabetycznej kolejności autorów czy przez oświadczenia szefów danej "kolaboracji"), jednak przy zliczaniu Hirschów i cytacji utarło się, że każdemu liczy się "całe" cytowanie. Tak więc nawet szeregowi uczestnicy kolaboracji miewają Hirsche większe, niż bardzo twórczy fizycy pracujący w jakichś "niekolaboracyjnych" i w ogóle niszowych obszarach.

[trzy.14]

I tu kolejny problem ciekawy się pojawia: czy (jak?) IF stosować do porównywania poszczególnych jednostek naukowych? Załapanie się na jedną "dobrą" kolaborację tylko jednego pracownika takiej jednostki to nawet 60 (!) publikacji rocznie, tysiące (!) cytowań, jednostka zatrudniająca takiego kolesia po prostu "wymiata" konkurencję. Formalny dorobek naukowy jednego "kolaboranta" odpowiada dorobkowi co najmniej 20 zwykłych śmiertelników.

Jak to się przekłada np. na kategoryzację jednostki czy zdolność grantobiorczą łatwo sobie wyobrazić. Podobnie jak na przykład na pozycję w konkursach na różne tam KNOWania.

[podworkowy]

"They say researchers should be judged by the content of their papers, not where the studies are published"; akcentują także "the need to assess research on its own merits rather than on the basis of the journal in which the research is published"
HAHAHAHAHAHA:):)
I w dodatku podpisuje się pod tym redaktor naczelny "Science"...
Po raz drugi HAHAHAHAHAHAHA:):)
A dalej mamy mamy jeszcze to:
"the leaders of the scientific enterprise must accept full responsibility for thoughtfully analyzing the scientific contributions of other researchers. To do so in a meaningful way requires the actual reading of a small selected set of each researcher's publications" - sorry dala:):)
Za pięć lat forumowi przeciwnicy bibliometrii znajda się w awangardzie postępowych reform, a dzisiejsi progresiści staną się obrońcami zaścianka...;)
A tak poważnie - naprawdę milo przeczytać, że zdrowy rozsądek nie umarł i że - wbrew mniemaniom niektórych - sprzeciw wobec szeroko rozumianej bibliometrii nie jest jedynie wymówką naukowych słabeuszy.
P.S. Żadne z powyższych twierdzeń nie powinno być interpretowane jako pochwała kondycji nauki polskiej, tak pod względem merytorycznym, jak i formalno-organizacyjnym. Żadne z powyższych twierdzeń nie powinno być też interpretowane jako dezawuowanie sensu publikowania w dobrych czasopismach. Jak zwykle, upominam się tylko o common sense.

[siedemlatwtybecie]

to już byłu tu 100 razy dyskutowane - ale może powtórzę - na świecie IF to miara zgubna, w Polsce w wielu dziedzinach wystarczająca, bo w Polsce nie o to chodzi, że jeden publikuje w czasopiśmie z IF=5 a drugi w czasopiśmie z IF=0,7 i teoretycznie te prace mogą być równorzędnie wartościowe. W Polsce jeden publikuje w czasopismach o jakimkolwiek IF a 100 innych w Zeszytach Kujawskich, gdzie nie ma rzetelnych recenzji i można upchać w nich każde g.

[zitterbewegung]

Podpisuję się jedną ręką, ale drugą mam problem z naszym wewnętrznym punktowaniem czasopism, bo jak wiemy Zeszyty != 0. A to potem krzywdzi ludzi przy grantach gdzie punkty są faktorem (jak choćby w niepojętych "dla początkujących" gdzie projekt prawie w ogóle się nie liczył, jak słyszałem Diamentowemu Grantowi dla najmłodszych przytrafiło się coś podobnego).

[podworkowy]

1) no proszę, i już mamy obrońcę specyfiki polskiej nauki i stosowania w niej odrębnych reguł niż gdzie indziej:)
2) a tak bez złośliwości - cała zabawa, jaką mam z linkowanym apelem, polega na tym, że broni on absolutnych oczywistości w rodzaju niezbędności przeczytania tekstu do jego oceny; wskazuje on zatem na rzeczy, które dla mnie były zawsze oczywiste, a które niejednokrotnie tu kwestionowano.

[charioteer1]

podworkowy napisał(a):

> 2) a tak bez złośliwości - cała zabawa, jaką mam z linkowanym apelem, polega na
> tym, że broni on absolutnych oczywistości w rodzaju niezbędności przeczytania
> tekstu do jego oceny; wskazuje on zatem na rzeczy, które dla mnie były zawsze o
> czywiste, a które niejednokrotnie tu kwestionowano.

Jezeli bez zlosliwosci, to odpowiem calkiem powaznie. Nauka to coraz wieksza specjalizacja. Zly tekst moze przeczytac i ocenic kazdy. Jezeli cos jest "on the edge of science", ocenic moze to tylko garstka ludzi na swiecie.

[sendivigius]

Pozostaje mi sie tylko zgodzic. Przeczytanie tekstu jest do oceny warunkiem koniecznym ale nie wystarczajacym. Aby ocenic to trzeba sie znac. I na tym wlasnie polega rola dobrych czasopism ze to co jest tam opublikowane jest wlasnie juz ocenione przez najlepszych ludzi w tej dziedzinie. Ocenione podwojnie. Po pierwsze czy jest nominalnie prawda, a po drugie - i to jest jeszcze wazniejsze i jeszcze trudniejsze do oceny - czy jest to wazne i wartosciowe. Z tego wlasnie powodu dobrym czasopismom sie daje kredyt zaufania jakiego nie maja liche lokalne pisma.

[klisiewitz]

niestety są czasopisma z IF gdzie można upchać byle g.
są to nawet czasopisma polskie
ale o tym była mowa choćby w czarnej liście czasopism punktowanych

[siedemlatwtybecie]

Panowie, nie podejmuję dyskusji, tyle razy już to było tutaj omawiane, że mnie to osobiście nudzi. Oczywiście każdy Polski naukowiec z radością tak zinterpretuje każdą wypowiedź na świecie, aby mieć usprawiedliwienie swoich publikacji w Zeszytach Kujawskich. Jestem też przekonany, że wypowiadający się w zalinkowanym artykule własnie to mają myśli co szanowni panowie - należy publikować gdziekolwiek (na internecie, w czasopismach których nikt nie czyta, w pokonferencyjniakach których nikt nie czyta, a co więcej których nie można nigdzie zakupić) a potem oceniać jakość (wyjątkowo wysoką) tychże dzieł.
Bez odbioru :-)

[klisiewitz]

zeszyty kujawskie mocno pompują google scholar i jego indeks h oraz liczbę cytowań
gdyż maszyny indeksujące są nieczułe i indeksują również śmieci

[spokojny.zenek]

podworkowy napisał(a):

> "They say researchers should be judged by the content of their papers, not wher
> e the studies are published"

No potworność jakaś...