5 Minutės
Tyrėjai, panaudoję dirbtinio intelekto (DI) atrankos įrankį, peržvelgę maždaug 15 000 pavadinimų aptiko daugiau nei 1 000 atvirojo prieinamumo žurnalų, rodantį abejotinas publikavimo praktikas. Straipsnis, paskelbtas žurnale Science Advances rugpjūčio 27 d., teigia, kad automatizuota patikra gali padėti indeksavimo tarnyboms, leidėjams ir mokslo institucijoms identifikuoti žurnalus, imančius mokesčius, bet neturinčius tvirto recenzavimo ir redakcinės priežiūros — tai dažnai siejama su vadinamaisiais predatory arba žemesnės kokybės žurnalais.
Kaip veikia DI atrankos įrankis
Duomenų šaltiniai ir mokymas
Komanda apmokė savo modelį naudodama du pažymėtus rinkinius iš Directory of Open Access Journals (DOAJ): 12 869 žurnalus, laikomus teisėtais, ir 2 536 pavadinimus, kuriuos DOAJ buvo pažymėjęs dėl kokybės standartų pažeidimų. Tyrėjai vėliau pritaikė modelį 15 191 atvirojo prieinamumo žurnalui, įrašytam viešojoje Unpaywall duomenų bazėje.
Signalai ir įspėjamieji ženklai
DI analizuoja kelis signalus, gaunamus iš žurnalų svetainių ir paskelbtų straipsnių. Tai apima publikavimo laukimo trukmę (labai greitas publikavimas gali rodyti nepakankamą recenzavimo procesą), neįprastai didelį savicitavimo dažnį, neaiškumą dėl licencijų ir straipsnio apdorojimo mokesčių, taip pat redakcinės tarybos narių institucines afiliacijas. Keli modelio kriterijai remiasi DOAJ gerosios praktikos gairėmis atvirojo prieinamumo leidybai.
Atranka identifikavo 1 437 žurnalus kaip abejotinus. Pažymėta grupė anksčiau nebuvo įtraukta į nusistovėjusias stebėjimo sąrašus, o kai kurie pavadinimai net priklauso didesniems, gerai žinomiems leidėjams. Iš viso šie žurnalai yra išleidę šimtus tūkstančių straipsnių, kurie jau surinko milijonus citavimų, kas kelia susirūpinimą dėl žemos kokybės literatūros matomumo ir poveikio moksliniam registrui.
Išvados, apribojimai ir pasekmės
Tyrimo rezultatai parodo tiek automatizuotos atrankos potencialą, tiek jos ribotumus. Komanda įvertino maždaug 345 klaidingus teigiamus atvejus tarp pažymėtų žurnalų — pavyzdžiai apima nutrauktus pavadinimus, knygų serijų įrašus ir mažų visuomeninių organizacijų žurnalus, kurie neatitinka modelio lūkesčių. Priešingai, klaidų dažnio skaičiavimai rodo, kad įrankis praleido dar apie 1 782 abejotinus žurnalus.
Daniel Acuña, kompiuterių mokslininkas iš University of Colorado Boulder ir straipsnio bendraautoris, pabrėžia, kad DI nėra skirtas būti galutiniu sprendėju. Įrankis prieinamas kaip uždara beta versija organizacijoms, kurios indeksuoja žurnalus arba valdo leidybos portfelius, tačiau, pasak jo, „žmogaus ekspertas turėtų būti vertinimo proceso dalis“ prieš imantis bet kokių korekcinių veiksmų. Modelis geriausiai tinka kaip triažo mechanizmas, galintis prioritetizuoti žurnalus išsamesnei žmogaus peržiūrai.
Cenyu Shen, DOAJ redakcinės kokybės pavaduotojas, pažymi, kad probleminių žurnalų skaičius ir jų sudėtingumas didėja: „Stebime vis daugiau atvejų, kai abejotini leidėjai įsigyja teisėtus žurnalus arba kai paper mill organizacijos perka žurnalus, kad publikuotų žemos kokybės darbus.“ Paper mill yra komercinės operacijos, gaminančios suklastotus rankraščius ir netikrą autorių sudėtį, kas dar labiau kelia grėsmę moksliniam sąžiningumui.
DOAJ vidiniai patikrinimai išlieka daugiausia rankiniai ir paremti skundais. 2024 m. direktorija tirė 473 žurnalus — tai 40 % daugiau nei 2021 m. — ir skyrė beveik 837 valandas tyrimams, apie 30 % daugiau. DI pagalba pagrįsta atranka galėtų sumažinti šią darbo naštą, pažymėdama didelės rizikos atvejus, kuriems reikalingas koncentruotas žmogaus vertinimas.
Ekspertų įžvalga
Dr. Elena Morales, Mokslinio komunikavimo centro (fiktyvus asmuo) mokslinio sąžiningumo pareigūnė, komentuoja: „Automatizuota atranka yra vertingas naujas įrankis mokslinio registro vientisumui palaikyti, tačiau ji negali pakeisti ekspertų sprendimų. DI gali greitai peržiūrėti didelius duomenų rinkinius ir atskleisti modelius, kurių žmonės gali nepastebėti, pavyzdžiui, sisteminį savicitavimą ar staigius redakcinius pokyčius. Kitas žingsnis — derinti šiuos signalus su leidėjų skaidriu metaduomenų teikimu, kad indeksavimo tarnybos galėtų priimti atsakingus sprendimus, pagrįstus tiek duomenimis, tiek srities patirtimi.“
Praktiniai žingsniai suinteresuotosioms šalims apima redakcinio proceso ir mokesčių skaidrumo didinimą, metaduomenų dalijimąsi su indeksavimo tarnybomis bei įprastų DI pagelbėtų auditų taikymą, kuriuos vėliau patvirtintų nepriklausoma žmogaus peržiūra. Tyrėjai turėtų patikrinti žurnalų praktikas prieš pateikdami darbus ir pasikonsultuoti su DOAJ ar kitais patikimais indeksais.
Išvada
DI atrankos metodas siūlo mastelio keičiamą priemonę pažymėti potencialiai probleminius atvirojo prieinamumo žurnalus ir prioritetizuoti juos žmogaus peržiūrai. Nors įrankis aptiko daugiau nei 1 000 anksčiau neidentifikuotų abejotinų pavadinimų, jo klaidingi teigiami ir klaidingi neigiami rezultatai pabrėžia būtinybę derinti žmogaus ir DI darbo eigas. Metaduomenų skaidrumo stiprinimas, aptikimo modelių tobulinimas bei bendradarbiavimas tarp indeksavimo tarnybų, leidėjų ir mokslo institucijų bus esminiai siekiant apsaugoti akademinės leidybos vientisumą ir citavimo sistemą, formuojančią mokslinį konsensusą.
Šaltinis: nature
Komentarai