Home / Publikatiounen / D'Zukunft vun der Fuerschung Evaluatioun: ...

D'Zukunft vun der Fuerschung Evaluatioun: Eng Synthese vun aktuellen Debatten an Entwécklungen

Dëse Synthesebericht gëtt vum ISC säin Denktank publizéiert, dem Center for Science Futures, zesumme mat Partner, der Global Young Academy an der InterAcademy Partnership.

Eng Fro déi wäit vun Akteuren ronderëm d'Welt diskutéiert gëtt ass ob déi aktuell Fuerschungsevaluatiounssystemer effektiv sinn fir qualitativ héichwäerteg Fuerschung z'identifizéieren an de Fortschrëtt vun der Wëssenschaft z'ënnerstëtzen. An de leschte Joeren sinn d'Suergen iwwer d'Aschränkungen an d'potenziell Viraussetzunge vun traditionelle Evaluatiounsmetriken opgestan, déi dacks fäeg sinn déi ganz Palette vu Fuerschungsimpakt a Qualitéit z'erfaassen. Als Resultat gouf et eng verstäerkte Nofro vun Akteuren fir déi aktuell Fuerschungsevaluatiounssystemer ze reforméieren.

D'Debatten ronderëm d'Reform vun der Fuerschung Evaluatioun konzentréieren op verschidden Aspekter vun Evaluatioun dorënner de Besoin fir verschidden an inklusiv Evaluatioun Critèren, d'Roll vun Peer review an d'Benotzung vun oppen Wëssenschaft. E puer hunn op d'Noutwennegkeet drop higewisen, vum Fokus op Journal Metriken op eng méi ëmfaassend a qualitativ Bewäertung vum Fuerschungsimpakt inklusiv Zesummenaarbecht, Datendeelen, Gemeinschaftsengagement ...

D'Zukunft vun der Fuerschung Evaluatioun gëtt eng Iwwerpréiwung vun den aktuellen Zoustand vun Fuerschung Evaluatioun Systemer an diskutéiert déi rezent Aktiounen, Äntwert an Initiativen vun verschiddenen Akteuren duerch verschidde Fall Beispiller aus der ganzer Welt geholl. D'Zil vun dësem Diskussiounspabeier ass et zu de lafende Debatten an oppe Froen iwwer d'Zukunft vun der Fuerschungsevaluatioun bäizedroen.

De Bericht liesen

E Resumé vun den identifizéierten Themen, geholl Aktiounen a verbleiwen oppe Froen op Basis vum Bericht kënnen an der Infografik fonnt ginn:

Klickt fir d'Bild ze vergréisseren oder download der PDF Versioun vun der Infografik.

Benotzt eisen Iwwersetzungsplugin fir de Pabeier online oder an Ärer gewënschter Sprooch ze liesen.

En dynamescht an inklusiv Fuerschungssystem ass déif wichteg fir d'Wëssenschaft an d'Gesellschaft fir fundamentalt Wëssen a Verständnis ze förderen an ëmmer méi dréngend global Erausfuerderungen unzegoen. Awer d'Fuerschungssystem ass ënner Drock wéinst ëmmer méi Erwaardunge vu verschiddenen Akteuren (inklusive Finanzéierer, Regierungen an der Verëffentlechungsindustrie), Spannungen tëscht Dynamik vu Konkurrenz a Kooperatioun, engem evoluéierende wëssenschaftleche Kommunikatiounssystem, eng aggressiv - heiansdo - Verëffentlechungs- an Datenanalytikindustrie a limitéiert Ressourcen. D'Fuerschungsfirma muss dës Fuerderungen a Spannungen verwalten wärend d'Fuerschungsqualitéit behalen, d'Fuerschungsintegritéit oprecht erhalen, inklusiv an divers sinn a béid Basis an ugewandt Fuerschung schützen.

An de leschte Jorzéngt, dës Drock op, an de Besoin fir Reaktiounsfäegkeet vun, de Wëssenschaft System goufen duerch méi kritesch Reflexiounen op Systemer vun Fuerschung Evaluatioun an Leeschtung Miessunge begleet. Wärend entspriechend, kontextsensibel Methodologien fir d'Fuerschungsqualitéit an Impakt ze bewäerten wichteg sinn, hunn d'Debatten iwwer déi breet gefächert, komplex an zweedeiteg Effekter vun aktuellen Evaluatiounskriterien a Metriken op d'Qualitéit a Kultur vun der Fuerschung verstäerkt, d'Qualitéit vun de Beweiser déi d'Politik informéieren, Prioritéite bei der Fuerschung a Fuerschungsfinanzéierung, individuell Karriärbunnen a Wuelbefannen vun de Fuerscher. A verschiddenen Deeler vun der Welt gëtt et eng wuessend Unerkennung datt eng schmuel a simplistesch Set vu evaluative Metriken an Indikatoren d'Qualitéit, d'Utilitéit, d'Integritéit an d'Diversitéit vun der Fuerschung net zefriddestellend erfaassen. Routin benotzt - dacks journal-baséiert - Metriken fäerten wichteg zousätzlech Dimensioune vun der qualitativ héichwäerteger Fuerschung z'erfaassen, sou wéi déi an der Mentorschaft fonnt ginn, Datenaustausch, engagéieren mat de Public, d'nächst Generatioun vu Geléiert ze ernären an z'identifizéieren an Méiglechkeeten un ënnerrepresentéierte Gruppen ze ginn. Nieft dem Ëmfang ze enk ze sinn, gëtt d'Fro vun der falscher Uwendung vu Metriken an Indikatoren och gesi fir d'Incentive fir d'Erreeche ze verzerren, e puer Disziplinnen ze benodeelegen (inklusiv vital interdisziplinär an transdisziplinär Fuerschung) a predatoresch an onethesch Verëffentlechungspraktiken ze brennen.

Kampagnen fir déi falsch Uwendung vu Metriken ze bekämpfen, Qualitéitskriterien ze verbreeden an d'Fuerschungskultur méi systematesch duerch Manifestatiounen an Aussoen ze transforméieren, Prinzipien a Reformen hunn d'Bühn gesat fir eng global Debatt iwwer d'Noutwennegkeet fir d'Fuerschungsbewäertung ze reforméieren. Dës Stëmmen fuerderen elo vun Manifestatiounen op Aktioun. Dëst geschitt géint den Hannergrond vun transformativen Verréckelungen an de Weeër wéi d'Fuerschung duerchgefouert a kommunizéiert gëtt. Den Opstig vun oppene Fuerschungskaderen a vu soziale Medien, eng Verréckelung op missionsorientéiert an transdisziplinär Wëssenschaft, de Wuesstum vun oppener Peer Review an dem transformativen Potenzial vu kënschtlecher Intelligenz (AI) a Maschinnléieren erfuerdert nei Denken iwwer wéi d'Fuerschung a Fuerscher evaluéiert ginn. .

Géint dës Kuliss huet den Global Young Academy (GYA), déi InterAcademy Partnership (IAP) an der International Science Council (ISC) Kräfte zesummegefaasst fir de Bilan vun Debatten an Entwécklungen an der Fuerschungsevaluatioun weltwäit ze maachen, op engem Scopinggrupp vu Wëssenschaftler an enger Serie vu regionale Konsultatiounen ze zéien. Nei Approche ginn entwéckelt a pilotéiert vun Héichschoulinstituter a Fuerschungsfinanzer an e puer Deeler vun der Welt, a verschidde sinn an dësem Pabeier abegraff. An aneren Deeler vun der Welt sinn dës Debatten an Aktiounen amgaang oder souguer feelen. Mat Fuerschungssystemer déi sech mat ënnerschiddlechen Tariffer entwéckelen, besteet e Risiko vun Divergenz a Fragmentatioun. Esou Divergenz kann d'Homogenitéit kompromittéiere fir Fuerschungszesummenaarbecht z'erméiglechen an d'Fuerschermobilitéit iwwer verschidde Geografien, Secteuren an Disziplinnen ze erliichteren. Wéi och ëmmer, eng Gréisst kann net all passen an et ass e Bedierfnes fir kontextsensibel Efforten fir d'Evaluatioun ze reforméieren, lokal Erausfuerderunge z'erkennen.

Mat engem Fokus op Fuerschung vum ëffentleche Secteur an der Evaluatioun vu Fuerschung a Fuerscher, ass dësen Diskussiounspabeier global a senger Perspektiv, deckt eng Agenda déi typesch vun Entwécklungen an Europa an Nordamerika dominéiert gëtt: regional Perspektiven a Beispiller vun nationaler Entwécklung an institutioneller Reform sinn beliicht. Déi global a kollektiv Memberschaft vun der GYA, IAP an ISC representéiert e breede Querschnitt vum Fuerschungs-Ökosystem deem seng divers Mandater echt systemesch Ännerung erliichteren. Dëse Pabeier beméit sech als Stimulus fir d'GYA, IAP an ISC ze déngen - als Plattforme fir géigesäiteg Léieren, Experimenter an Innovatioun - fir mat hire Memberen, anere Wëssenschaftsinstituter a Schlësselwahlbezierker weltwäit ze schaffen, Gespréicher ze initiéieren an ze progresséieren, a méi inklusiv mobiliséieren a gemeinsam Aktioun.

Empfehlungen fir d'GYA, IAP an ISC an hir Memberen (kuckt Sektioun 5) si strukturéiert ronderëm hir Rollen als Affekoten, Exemplare, Innovateuren, Finanzéierer, Verëffentlecher, Evaluatoren a Kollaborateuren, mat indikativen Zäitframe fir Handlung. Déi meescht direkt enthalen dës Aktiounen Plaz ze kreéieren fir Lektiounen an Resultater vun relevanten Initiativen bis haut ze deelen (fir eng Praxisgemeinschaft ze bauen); op mëttelfristeg, multistakeholder Fora mat Schlësselwahlbezierker zesummenzeruffen fir d'Fuerschungsevaluatioun op praktesch, kontextempfindlech an inklusiv Manéier z'entwerfen an ëmzesetzen; an, op méi laangfristeg, nei Studien z'ënnerstëtzen, déi zum Futurdenken bäidroen, sensibel fir séier bewegt Entwécklungen an AI Technologien, Peer Review Methodologien a Reform, a Kommunikatiounsmedien.

Quantitativ Metriken kënnen e wichtege Bestanddeel vun der Fuerschungsevaluatioun bilden, am Iwwergank zu engem méi oppenen, verantwortlechen an ëffentleche orientéierte Fuerschungssystem (Royal Society, 2012) [2]. Awer si sinn och deelweis verantwortlech fir d'Fuerschungskultur "publicéieren oder verschwannen", déi weltwäit existéiert, mat schiedlechen Effekter op d'Qualitéit vun de Fuerschungsausgaben, d'Integritéit an d'Vertrauenswieregkeet vun de Fuerschungssystemer an d'Diversitéit vu Fuerschungsgemeinschaften (z. Hausstein et Larivière, 2014) [3]. Dëst ass well Metriken als Proxy fir Fuerschungsqualitéit vun Institutiounen, Politiker a Fuerschungsfinanzer benotzt ginn, awer si sinn eng Mooss fir d'Output an net vu Fuerschungsqualitéit oder Impakt per se. Als solch maachen dës Akteuren vill fir de sozialen a kulturelle Kontext ze setzen an deem d'Fuerschung geschitt, an d'Belounungs- a Promotiounssystemer vun der Akademie formen d'Wiel vun de Wëssenschaftler an all Stadien vun hirer Carrière (Macleod et al., 2014) [4] dir.

"D'Benotzung vu bibliometreschen Indizes ... als Proxy Metriken fir d'Leeschtung vu Fuerscher ass e prakteschen Index vun der Bewäertung awer déif fehlerhaft. Déi meescht setzen en onermiddlechen Fokus op individuell Erreeche, dënn d'Fuerschungsunterstëtzung duerch d'Interesse vun enger Universitéit un héich Impakt Metriken, drécken alles op "Tickboxen" a konform, wärend se eng wichteg Roll spillen fir de Journalpublikatiounsmaart ze verzerren. Et gëtt dringend Reform gebraucht."

Eröffnung vum Record of Science (2021), den International Science Council

Déi aner Akteurengemeinschaft déi enorm Muecht an Afloss iwwer Fuerschungskommunikatioun a Wëssensproduktioun hält ass de Verlagssektor. Journal-baséiert Metriken sinn e mächtegen Ureiz ginn fir a kommerziellen Zäitschrëften ze publizéieren a kënnen Verhalen stimuléieren dat seriös Nebenwirkungen hunn. Anstatt d'Resultater vun der Fuerschung op seng wëssenschaftlech Verdéngschter ze beurteelen, ass et déi erkannt Qualitéit vun der Zäitschrëft, an där se publizéiert gëtt, déi routinéiert als Beweis vu wëssenschaftlecher Qualitéit ugeholl gëtt, an en héich kommerziellen Verëffentlechungsmaart baséiert op Ruff anstatt op Wëssenschaft. Open Access Käschten ginn haaptsächlech duerch Autorveraarbechtungskäschte (APCs) entstinn: dës kënne prohibitiv héich sinn, besonnesch an e puer Deeler vun der Welt, Barrièren fir Fuerschungspublikatioun fir Ressource-aarm Fuerscher erstellen a potenziell de Fraktur vun der internationaler Wëssenschaftsgemeinschaft riskéieren. D'Risike fir ëmmer méi ofhängeg vu kommerziellen Ubidder an hir Benotzungsbedingunge an all Etappe vum Fuerschungsprozess ze ginn, schaaft e staarke Fall fir net-fir-Gewënn Alternativen. Weider, well bibliometresch Indikatoren déi dominant Quell vun Ureizer an Universitéite geliwwert hunn, hunn se de Wäert vun der pädagogescher an aner Forme vu wëssenschaftlecher Aarbecht (wéi Léier a Politikberodung) reduzéiert. Mat Fuerschungsevaluatiounssystemer tendéieren déi Leit ze favoriséieren déi grouss Subventiounen sécheren an an Zäitschrëften mat héijen Impaktfaktoren publizéieren, gëtt et Beweiser fir ze suggeréieren datt Fuerscher déi scho gelongen hunn méi wahrscheinlech erëm Erfolleg hunn (de 'Matthew Effekt', Bol et al., 2018) [5] dir.

Wann wëssenschaftlech Verëffentlechung e Mëttel fir Bewäertung anstatt Kommunikatioun gëtt, benodeelegt dëst déi, déi wielen hir Fuerschung op aner sënnvoll Manéier ze kommunizéieren (ISC 2021 Bericht) [6]. Dëst beinhalt allgemeng Ausgaben (a wuel d'Haaptwährung) vun der Global Young Academy (GYA), der InterAcademy Partnership (IAP) an dem International Science Council (ISC): Berichter, Aarbechtspabeieren, gemeinsame Aussoen, Meenungsredaktiounen, Neiegkeeten a Webinaren . Verschidden Disziplinnen sinn och benodeelegt: zum Beispill Fuerscher am Ingenieur an Informatik wou (normalerweis méi séier) Kommunikatioun duerch Konferenzen an hir Verhandlunge wichteg sinn; an déi an de Geeschtes- a Sozialwëssenschaften déi typesch Monographien, Bicher a berufflech Zäitschrëften benotzen.

Anerer entscheeden fir a Fuerschungsspezifesch oder lokal Zäitschrëften ze publizéieren, oder kënnen et sech net leeschte kënnen hir Fuerschung (awer héich Qualitéit) an Open Access Zäitschrëften mat héijen Impaktfaktoren (a concomitant héich APCs) ze publizéieren; déi lescht benodeelegt déi an niddereg-Akommes Länner, besonnesch fréi Carrière Fuerscher (ECRs). Dës selwescht Fuerscher sinn ënner intensiven Drock fir akademesch Posts, an hiert Verhalen ass staark bedingt vun de quantitativen Critèren, déi vu Fuerschungsfinanzéierungsagenturen an institutionnelle Hire- a Promotiounsboards benotzt ginn. D'Versuchung mat Indikatoren ze denken (Muller and de Rijcke, 2017) [7], a souguer "Spill" de System, ass eng Realitéit fir all Fuerscher iwwerall op der Welt (z Ansede, 2023) [8] dir.

Manifestatiounen vun dësem Spill enthalen Fuerscher (bewosst oder onbewosst) déi predatoresch Zäitschrëften a Konferenzen benotzen fir hir Verëffentlechungszuel ze stäerken (IAP, 2022 [9]; Elliott et al., 2022 [10]), sech u Selbstzitatioun a fälschend Peer-Rezensiounen, Plagiat, Impaktfaktorinflatioun a 'Salami-Schnëtt' (eng grouss Etude opdeelen, déi an engem eenzege Fuerschungsartikel a méi kleng publizéiert Artikelen gemellt ka ginn) (Collier, 2019) [11]. Ënnert Drock kënnen d'Fuerscher verlaangt ginn, op Raubdéngschter z'ergräifen mam eenzegen Zweck hir Doktoranden ze kréien, engagéiert oder gefördert ze ginn, oder hir Fuerschungsprojete finanzéiert ze kréien (z. Abad-García, 2018 [12]; Omobowale et al., 2014) [13]. Metrik-ugedriwwen Akademie an akademesch Verëffentlechungssystemer fuerderen onheemlech Ureiz: wou e Fuerscher publizéiert ass méi wichteg wéi dat wat se publizéieren.

Den Impakt op d'Qualitéit an d'Integritéit vun der Fuerschung ass enorm besuergt. D'Zuel vun zréckgezunnen wëssenschaftlechen Artikelen ass an de leschte Joeren dramatesch eropgaang, wéinst Fuerschung a Verëffentlechungsmëssbrauch a schlechten oder betrügereschen Datesätz. Journale kënne Méint bis Joeren daueren fir onzouverlässeg Fuerschung zréckzezéien, bis zu där Zäit et scho e puer Mol zitéiert gouf an am Domaine public ass (Ordway, 2021) [14] dir.

D'Prädominanz vu Metrik-Undriff Fuerschungsevaluatioun ass eendeiteg an et gi divergéierend Trends weltwäit wann et ëm d'Bewäertungsreform kënnt, déi riskéiert Deeler vun der Fuerschungsgemeinschaft hannerloossen. A senger Analyse vun der globaler Landschaft vun der Fuerschung Bewäertung (Curry et al., 2020 [15]; proposéiert), schéngt et datt vill Fuerschungs- a Finanzéierungsinstituter a méi héich Akommeslänner/Regiounen ufänken eng méi breet Palette vun Indikatoren ze enthalen, sou wéi qualitativ 'Impakt' Moossnamen, wärend d'Bibliometrie dominant bleiwen an Institutiounen am 'Global South' [16] ], an allen Disziplinnen. Ouni méi inklusiv Handlung riskéiert et eng Divergenz vun den nationale Bewäertungssystemer ze ginn, potenziell nach weider systemesch Bias a potenziell Inkompatibilitéiten an der Fuerschung, Evaluatioun, Finanzéierung a Verëffentlechungssystemer aféieren. Dëst, am Tour, kann international Fuerschung Zesummenaarbecht an d'Mobilitéit vun Fuerscher hemmen. An der Schafung vun Barrièren fir Nord-Süd Zesummenaarbecht, kann et och d'begleedend Stäerkung vu Fuerschungs-Ökosystemer am Globale Süden hemmen - robust Fuerschungsevaluatioun stäerkt d'FuerschungÖkosystemer a Vertrauen an hinnen, reduzéiert d'Wahrscheinlechkeet vu Brain Drain an hëlleft e staarkt mënschlecht Kapital fir nohalteg z'etabléieren. Entwécklung. Trotzdem, eent-Gréisst-passt-all Versiounen vun deem wat gutt Leeschtung generéiert Forme vu Verhalen net onbedéngt fir excellence, Fairness, Transparenz an Inclusioun. Fir d'Leeschtunge vu Geléiert ze moossen, déi an ënnerstëtzenden, gutt-ressourcen Ëmfeld gedehnt hunn, wou d'Méiglechkeete vill sinn, op déiselwecht Manéier wéi déi, déi Erausfuerderunge gekämpft hunn an Hürden a feindlechen an net ënnerstëtzenden Ëmfeld iwwerwannen, ass am beschten zweifelhaft (GJ, 2022) [17]. Vill Geléiert fillen historesch a geographesch Ausgrenzung vun der Fuerschungsgemeinschaft, zum groussen Deel ugedriwwen duerch d'Art a Weis wéi se während hirer Carrière bewäert ginn. Wann Dir e puer Forme vu Fuerschung ausschléisst an net eng Diversitéit vun Iddien weltwäit ausnotzen, besteet e Risiko datt déi aktuell Fuerschungsbewäertungspraktiken eng Mainstream / Followerkultur vun dominante westlech konzipéierte Modeller förderen.

Fuerscher an niddereg-Akommes Länner a fréi Etappe vun hirer Carrière brauchen eng Stëmm, fir datt si hëllefen nei Evaluatioun Modeller an kontext-sensibel Manéier ze gestalten, déi fit-fir-Zweck sinn a Kont fir d'Erausfuerderunge si konfrontéiert op engem Dag zu- Dag Basis. D'GYA a wuessend Zuel vun National Young Academies ginn ECRs dës Stëmm, an der GYA's Working Group on Scientific Excellence [18] bitt seng Meenung iwwer d'Reform vun der Fuerschungsevaluatioun (kuckt den Text hei ënnen).

Meenung vun der fréi Carrière Fuerscher Communautéit

Fréi Karriärfuerscher (ECRs) si besonnesch besuergt iwwer d'Praktiken vun der Fuerschungsevaluatioun well hir Karriärperspektiven an d'Verfollegung vun hirer Fuerschungsagenda entscheedend ofhängeg vun der wéi se bewäert ginn. Dëst informéiert Finanzéierung, Hire- a Promotiounspraktiken op Weeër déi net ëmmer als fair a gerecht ugesi ginn.

Och wann et offensichtlech ass datt d'Finanzéierung an d'Mënscherechtsentscheedungen d'Zesummesetzung vun der Aarbechtskraaft vun de Fuerscher beaflossen, ass et net ëmmer unerkannt datt duerch hiren Impakt op d'Finanzéierung d'Fuerschungsevaluatioun Ureiz fir Institutiounen a Fuerscher formt fir eng gewësse Fuerschungstrajectoire ze verfollegen, ze schaffen. an engem bestëmmte Beräich oder e puer Netzwierker iwwer anerer. Op dës Manéier formt d'Fuerschungsevaluatioun d'Entwécklung vun der Wëssenschaft selwer, an dat ass virun allem wouer a Relatioun zu hirem disproportionalen Impakt op d'Perspektiven an Erwaardungen vun ECRs.

Och wann d'Wëssenschaft eng global Entreprise ass, stellen e puer Geléiert méi héich Barrièren fir an d'Fuerschungsgemeinschaft anzeginn an ze engagéieren wéinst wou se gebuer goufen, hir Identitéit oder sozio-ekonomeschen Hannergrond. Dëst ass eng Fro vun der Organisatioun vun der Wëssenschaftsindustrie an net vun der Fuerschungsevaluatioun per se, awer vill ECRs mengen datt d'Evaluatiounskriterien net blann fir dës Realitéit vun der Fuerschererfahrung sollten sinn, a sollten net eenheetlech a standardiséiert Critèren a verschiddene Situatiounen opsetzen.

Fuerschung duerchgefouert vum Scientific Excellence Working Group vun der GYA (nächst Bericht) weist datt d'Fuerschungsbewäertung méi duerch d'Fuerschungspolitik vun engem Land gedriwwe ka ginn wéi duerch kulturell oder wëssenschaftlech Debatten. Fokusséiert op Promotiounskriterien fir voll Professer (oder gläichwäerteg) an der Akademie, weist de Bericht datt national Politiken an Institutiounen tendéieren spezifesch Dokumenter ze hunn, déi hir Critèrë fir d'Fuerschungsbewäertung festleeën. Anstatt eng grouss a variéiert Set vu Critèren ëmfaassen, déi benotzt kënne fir eng ëmfaassend Vue vun engem Fuerscher ze bilden, tendéieren dës Dokumenter op eng eenzeg Dimensioun oder Prioritéit ze fokusséieren. Zum Beispill, e puer Dokumenter konzentréieren sech op d'Evaluatioun vun engem Fuerscher Service Aktivitéiten (wéi Léieren a Mentoring) oder e puer op engem Fuerscher cumuléierten Output (zum Beispill, wat d'Zuel vun Zäitschrëften Artikelen) - awer selten souwuel.

Et ginn zwou Haaptimplikatioune vun dëser Entdeckung. Als éischt ass déi Fuerschungsbewäertung hierarchesch an uewen erof. Dëst schaaft e Risiko, souwäit souwuel Metriken wéi och qualitativ Methoden dacks d'Diversitéit vun de Fuerscher ignoréieren: souwuel an hirem Hannergrond wéi an hirem Carrièrewee, an - gläich wichteg - Diversitéit an hire Methoden an Iddien. Am Géigesaz, mengen ECRs, déi am GYA vertruede sinn, et wier wichteg d'Diversitéit vun Aktivitéiten ze erkennen, déi fir d'Fuerschungsfirma noutwendeg sinn, a Fuerschungsevaluatiounsschemaen auszeschaffen, déi Diversitéit a Pluralismus förderen anstatt Konformitéit an Homologatioun ze mandatéieren.

Zweetens, Differenzen tëscht Disziplinnen si manner bedeitend wéi Differenzen no dem wirtschaftleche Status vu Länner an deenen e Fuerscher schafft. Niddereg Akommeslänner schéngen op quantitativ Metriken ze vertrauen an 'Produktivitéit' ze belounen, während méi héich Akommeslänner ëmmer méi op fir qualitativ Bewäertung vum Impakt sinn. Sollt dës Divergenz weider entwéckelen, kann et e weideren Hindernis fir déi international Mobilitéit vu Geléiert duerstellen - wat besonnesch wichteg ass fir ECRs.

Als Conclusioun betount de GYA Bericht datt et keng Sëlwerkugel gëtt: Fuerschungsevaluatioun soll op d'Ziler vun der Evaluatioun a schlussendlech d'Ziler vun enger Institutioun oder der Fuerschungspolitik vun engem Land ausgeriicht sinn. D'Evaluatioun soll d'Diversitéit vun de Fuerscherprofiler a Karriären erlaben, an en anere Fokus adoptéieren ofhängeg vum Zweck vun der Evaluatioun. Wëssenschaft ass e globalt a selbstkritescht Gespréich, eng extern Evaluatioun ass vläicht net ëmmer néideg. Tatsächlech gëtt d'Benotzung an de reelle Wäert vun ongewéinleche Rankings (vu Leit, Institutiounen, Outlets oder souguer ganz Länner) dacks diskutéiert.

D'Weeër, wéi d'Fuerschung opgestallt, finanzéiert, duerchgefouert a kommunizéiert gëtt, entwéckelen sech am Tempo an erfuerderen d'Beschleunigung vun der Fuerschungsevaluatiounsreform. Si enthalen déi folgend:

(1) Den Iwwergank zu oppe Wëssenschaft

Déi oppe Wëssenschaftsbewegung erfuerdert eng gläichzäiteg Reform vun de Fuerschungsevaluatiounssystemer fir d'Openheet an d'Transparenz ze verbesseren. Vill vun de Metriken an Indikatoren, déi benotzt gi fir d'Fuerschungsleistung ze moossen, si selwer opak an dacks hannert zouenen kommerziellen Dieren berechent. Dëse Manktem u Transparenz kompromittéiert d'Autonomie vun der Fuerschungsgemeinschaft - et beschränkt Optiounen fir d'Evaluatioun, Testen, Verifizéierung an d'Verbesserung vun der Fuerschungsindikatoren (Wilsdon et al., 2015 [23]). Verantwortlech Fuerschungsbewäertung gëtt e Käraspekt vu weltwäite Beweegunge Richtung oppe Wëssenschaft, wéi zum Beispill an der Recommandatioun vun der UN Educational, Scientific and Cultural Organization (UNESCO) iwwer Open Science Zeien (UNESCO, 2021 [24]) - déi d'Entwécklung vun engem Open Science Toolkit fir seng Memberen enthält fir hinnen ze hëllefen hir Fuerschungskarriär Bewäertungen an Evaluatiounskriterien ze iwwerpréiwen an ze reforméieren [25].

(2) Entwécklungen am Peer review

De Wuesstum vun oppene Peer Review - egal ob Peer Review Berichter publizéiert an / oder ëffentlech Identifikatioun vu Rezensiounen - ass eng wichteg Entwécklung fir Fuerschungsevaluatioun (Barroga, 2020 [26]; Woods et al., 2022 [27]). De Wuesstum vun der Dateinfrastruktur huet d'Verëffentlecher erlaabt Digital Object Identifiers (DOIs) fir Peer review Berichter ze generéieren, Peer review Berichter un eenzel Open Researcher a Contributor IDs (ORCIDs) ze verbannen a Pabeieren als Preprints ze verëffentlechen. D'Zuel vun de Preprints ass wesentlech wärend der globaler COVID Pandemie gewuess an hunn d'Erausfuerderunge virgestallt fir d'Fuerschung am schnelle Äntwertmodus ze bewäerten. Trotzdem, oppe Peer review Praktiken - ob Pre- oder Post-Publikatioun - kënne hëllefen d'Kontroll déi kommerziell Verëffentlecher hunn iwwer Fuerschungskommunikatioun a Wëssensproduktiounsprozesser ze stéieren, d'Kraaft vun der wëssenschaftlecher Zäitschrëft ze reduzéieren an assoziéiert Metriken wéi JIFs. Open records vu Peer review Aktivitéite kënnen och Infrastruktur ubidden fir ze dokumentéieren - a mat Zäit méi Wäert an - Peer review Aktivitéiten generéieren, déi e vitale professionnelle Service sinn, dacks gréisstendeels onsichtbar an ënnergeschätzt bannent akademesche Bewäertungen (Kaltenbrunner et al., 2022 [28] an.

(3) D'Applikatioun vu kënschtlecher Intelligenz a Maschinnléieren

Technologesch Fortschrëtter an der kënschtlecher Intelligenz (AI) a Maschinnléiere wäerte méiglecherweis déif Konsequenze fir d'Fuerschungsevaluatioun hunn, inklusiv Peer Review Prozesser déi et ënnerstëtzen (z. Holm et al., 2022 [29]; Proctor et al., 2020 [30]). AI gëtt scho benotzt fir Peer review ze streamline an ze stäerken (Natur, 2015 [31]; Natur, 2022 [32]), Test d'Qualitéit vu Peer review (Severin et al., 2022 [33]), Test d'Qualitéit vun den Zitater (Gadd, 2020 [34]), Plagiat erkennen (Foltýnek et al., 2020 [35]), Fang Fuerscher Dokteren Daten (Quach, 2022 [36]) a peer reviewer fannen, déi ëmmer méi knapp sinn, well dës Aarbecht net de Kreditt kritt, deen et an der Fuerscherbewäertung verdéngt. 'Conversational AI', wéi ChatGPT (Chat Generative Pre-Trained Transformer), huet d'Kapazitéit fir Experimenter ze designen, Manuskripter ze schreiwen an ze kompletéieren, Peer review ze maachen an redaktionnellen Entscheedungen z'ënnerstëtzen fir Manuskripter z'akzeptéieren oder ze refuséieren (Natur, 2023 [37]). Et gëtt och Potenzial fir AI fir d'Effizienz vun der Peer Review ze verbesseren andeems Dir Algorithmen benotzt fir d'Belaaschtung vu Peer Reviewer als Schiedsrichter vu Fuerschungsoutput ze erliichteren (Natur, 2022 ). D'Benotzung vun AI gëtt scho a China geplot fir Schiedsrichter ze fannen (Natur, 2019 [eent]).

All dës AI Uwendungen kënnen dës Belaaschtung reduzéieren an erfuerene Experten erlaben hir Uerteel op Fuerschungsqualitéit a méi komplex Bewäertungen ze fokusséieren (Thelwall, 2022 [40]). Awer si riskéieren och Biases ze propagéieren well se prévisiv Technologien sinn déi existent Daten verstäerken déi partiell kënne sinn (zum Beispill vu Geschlecht, Nationalitéit, Ethnie oder Alter): Tatsächlech kann d'Benotzung vun AI selwer vun engem méi déif Verständnis profitéieren wat 'Qualitéit ass ' Fuerschung (Chomsky et al., 2023 [41]; ISI, 2022 [eent]).

Vital awer sinn all Forme vun AI a Maschinnléieren op fir Mëssbrauch (Blauth et al., 2022 [43]; Bengio, 2019 [44]). Akademesch a Fuerschungsgemeinschaften musse Bereetschaft a Widderstandsfäegkeet dofir bauen, mat der Regierung, der Industrie an der Zivilgesellschaft Leedung schaffen déi dëse Raum regéieren.

(4) Den Opstig vu soziale Medien

Konventionell quantitativ Moossname fir d'Fuerschung Impakt feelen d'Erhéijung vum soziale Medien Engagement a sozial vernetzte Fuerscher / Akademiker (Jordanien, 2022 [45]). Vill Akademiker benotze soziale Medienplattformen fir Gemeinschaften, Politiker a Public uechter d'Liewensdauer vun hirem Fuerschungsprojet ze engagéieren; fir hir Fuerschung positiv ze engagéieren, ze testen an z'informéieren, an eng Diversitéit vun Iddien an Inputen ze bréngen, anstatt einfach de finalen Output als Fait Accompli fir en Empfängerpublikum ze publizéieren. Dëst Engagement gëtt net vu konventionelle Forme vu Fuerschungsbewäertung opgeholl, awer kann zu méi breet Afloss- an Outreachméiglechkeeten féieren. Social Media Metriken ('altmetrics') ginn als Bäitrag zu verantwortleche Metriken entwéckelt (Wouters et al., 2019 [4]) an enthalen Twitter oder Facebook Ernimmungen an d'Zuel vun den Unhänger op ResearchGate, zum Beispill. Engersäits kënnen dës Altmetriken hëllefen opzemaachen, Raum ze kreéieren an d'Evaluatioun ze verbreeden (Rafols & Stirling, 2021 [47]) awer op der anerer Säit - wéi aner Indikatoren - kënnen och onverantwortlech benotzt ginn an / oder gesi ginn fir eng aner Schicht vu Metriken an Evaluatiounssystemer opzesetzen.

Erausfuerderunge fir d'Reform vun der Fuerschungsevaluatioun si villfälteg. E puer vun de bedeitendsten sinn hei illustréiert.

All Reform, déi méi qualitativ Mesuren enthält, muss – gläichzäiteg – d’Qualitéit vun der Basis- an ugewandter Fuerschung ofsécheren. Et gëtt anekdotesch Beweiser datt verschidde Wëssenschaftler sech selwer géint d'Reform wieren, vläicht besonnesch fortgeschratt Karriärfuerscher, déi am aktuelle System gedeeft hunn, well se fäerten datt et mëttelméisseg Fuerschung riskéiert, oder datt méi qualitativ Forme vun Evaluatioun applizéiert iwwer Basisfuerschung favoriséieren. D'Reform vun de Fuerschungsevaluatiounskriterien tendéieren ronderëm Beweegunge Richtung Missiounsorientéierter, gesellschaftlech beaflosst Fuerschung, déi op ëffentlech a politesch Ënnerstëtzung appelléieren op eng Manéier déi manner konkret Basis- oder blo-Sky Fuerschung net. E puer plädéieren datt eng méi nuancéiert Interpretatioun vum Fuerschungs"Wäert" erfuerderlech ass fir Innovatioun z'ënnerstëtzen, well d'Zukunft erfuerdert weider Investitiounen an d'fundamental, virwëtzeg gedriwwe Fuerschung an eng méi grouss Unerkennung vun der entscheedender Roll déi se spillt an der Kapazitéit fir op global Erausfuerderungen ze reagéieren (GJ, 2022 [eent]).

De Mangel u Konsistenz an der Bedeitung an der Notzung vun der Fuerschungsterminologie, méi allgemeng, ass eng Barrière fir ze änneren. De konzeptuelle Kader fir d'Fuerschungsevaluatioun huet sech mat der Zäit net substantiell geännert, an och net d'Sprooch déi et ënnerstëtzt: de Fuerschungssystem ass nach ëmmer an alen Dichotomien wéi 'Basis' an 'applizéiert' Wëssenschaft, a Begrëffer wéi 'Impakt', 'Qualitéit' festgehalen. (net hëllefräich mat Produktivitéit gläichgestallt) an 'Exzellenz' sinn net kloer definéiert op eng Manéier déi geographesch, disziplinaresch, Karriärstadium a Geschlechtbias vermeit (Jong et al., 2021). [49]): dëst kann besonnesch akut sinn an Entscheedungspanelen ouni Diversitéit (Hatch and Curry, 2020 ) [50].

Wéi Metrik-ugedriwwen Evaluatioun, méi qualitativ Forme vun der Evaluatioun sinn och onvollstänneg. D'Argument ze maachen datt Peer review Prozesser an Expert Uerteel op d'mannst esou wichteg sinn wéi Bibliometrie ass net einfach. Si kënne partiell sinn wéinst dem Mangel u Kloerheet an Transparenz am Peer review Prozess. Peer review Comitée, zum Beispill, goufe kritiséiert als Mechanismen déi etabléiert Forme vu Muecht a Privileg behalen andeems se 'Old boys' Netzwierker' an Homophilie (Evaluateure sichen déi wéi si selwer) erméiglechen ze bestoe bleiwen, wärend se och vulnérabel sinn fir d'Gruppdenken Dynamik. Quantitativ Metriken, awer onvollstänneg, ginn an e puer Deeler vun der Welt als Verteidegung géint Nepotismus a Bias gesinn. Ähnlech Argumenter kënnen op d'Peer-Revue vu Fuerschungspabeieren applizéiert ginn, mat der Benotzung vu méi qualitativer Bewäertung déi potenziell d'Dier op aner Forme vun diskriminéierend Verhalen opmaacht.

De Mangel u berufflecher Unerkennung vun, an Ausbildung fir, Peer review an iergendenger Form schaaft Disincentives fir als Peer Reviewer ze déngen, doduerch d'Kapazitéit ze reduzéieren. Weider, well d'Nofro d'Offer iwwerschreift, kann et Ureiz erstellen fir Ecker ze schneiden an d'Strengheet ze reduzéieren. D'Erhéijung vun der Peer review Transparenz (egal ob voll oppen, anonymiséiert oder hybrid) an Ausbildung, Fërderung a Belounung gutt Peer Review Praxis sinn all erfuerderlech; wéi weider Fuerschung iwwer Modeller fir seng Evolutioun ass wéi d'Fuerschungsoutput diversifizéieren (IAP, 2022 [51]) an AI Technologien fortschrëttlech.

Debatten iwwert d'Reform vun der Fuerschung Evaluatioun sinn komplex an net binär. Qualitativ a quantitativ Informatioun goufen dacks a Peer Review Kontexter kombinéiert: Aussoe wéi de Leiden Manifesto for Research Metrics (Hicks et al., 2015 [52]) ruffe fir "informéiert Peer review" an deem Expert Uerteel ënnerstëtzt gëtt - awer net gefouert vun - entspriechend ausgewielten an interpretéiert quantitativen Indikatoren a qualitativ Informatioun. D'Debatt iwwer Fuerschungsevaluatioun ass net eng binär 'qualitativ versus quantitativ' Wiel vun Evaluatiounsinstrumenter, awer wéi Dir déi bescht Kombinatioun vu verschidde Forme vun Informatioun garantéiert.

Schlussendlech muss all Reform och bequem a praktesch sinn. De Fuerschungssystem weist schonn Unzeeche fir ënner sech selwer ze kollapsen, well de Volume vun de Publikatiounen exponentiell eropgeet an d'Belaaschtung vun der Iwwerpréiwung ongläich iwwer d'Fuerschungsfirma fällt (z. Publons, 2018 [53]; Kovanis et al., 2016 [54]; Natur, 2023 [55]). Journal-baséiert Metriken an den h-Index, zesumme mat qualitativen Notioune vu Verëffentlecher Prestige an institutionnelle Ruff, kënne praktesch Ofkiirzungen fir beschäftegt Evaluateuren ubidden an Hindernisser presentéieren fir ze änneren, déi déif an der akademescher Evaluatioun verankert sinn (Hatch and Curry, 2020 [56]). Quantitativ Metriken ginn an e puer Länner begréisst wéi se relativ kloer an eendeiteg Weeër fir Rendez-vous a Promotioun ubidden. Am 'Global South' ginn duerchschnëttlech Impaktfaktoren routinéiert benotzt fir Bewerberinnen ze shortlist, an all Alternativ muss gläich implementéierbar sinn a fäeg sinn op déi zousätzlech Ressourcen ze zéien, déi zwangsleefeg erfuerderlech sinn fir den Ëmfang vun der Evaluatioun ze vergréisseren. D'Bequemlechkeet fir einfache quantitativen Metriken an der Fuerschungsevaluatioun ze benotzen ass méiglecherweis e grousst Hindernis fir Ännerung, an d'Aféierung vun neien Evaluatiounssystemer kann souguer méi global Ongläichheet kreéieren wéinst Mangel u Kapazitéit oder Kompetenz an e puer Länner.

Vun den uewe genannten globalen Initiativen, den 2013 San Francisco 'Erklärung iwwer Fuerschung Bewäertung' [64] (DORA) ass vläicht déi aktivst global Initiativ. Et huet Probleemer katalogiséiert, déi verursaacht gi vu Journal-baséiert Indikatoren fir d'Performance vun eenzelne Fuerscher ze evaluéieren a bitt 18 Empfehlungen fir esou Evaluatioun ze verbesseren. DORA decouragéiert kategoresch d'Benotzung vu Journal-baséiert Metriken fir de Bäitrag vun engem Fuerscher ze bewäerten oder wann Dir sicht fir ze lounen, ze promoten oder ze finanzéieren. Zënter Mëtt Abrëll 2023 gouf d'Deklaratioun vun 23,059 Ënnerschrëften (Institutiounen an Eenzelpersounen) an 160 Länner ënnerschriwwen, déi sech fir d'Reform asetzen. Mat engem Fokus op d'Navigatioun vun den intrinseschen Erausfuerderungen an d'gebuerene Viraussetzunge vun der qualitativer Bewäertung, entwéckelt DORA Tools to Advance Research Assessment (TARA) [65] fir ze hëllefen d'Deklaratioun an d'Praxis ëmzesetzen: Dës Tools enthalen en Dashboard fir innovativ Politiken a Praktiken an der Karriärbewäertung ze indexéieren an ze klassifizéieren an e Toolkit vu Ressourcen fir d'Kompositioun vum Komitee z'erkennen a verschidde qualitativ Forme vu Fuerschungsimpakt ze erkennen.

Zousätzlech finanzéiert DORA zéng Projeten - an Argentinien, Australien, Brasilien, Kolumbien (2), Indien, Japan, Holland, Uganda a Venezuela - fir verschidde Weeër ze testen fir d'Reform an der Fuerschungsevaluatioun an hire lokale Kontexter ze förderen, souwéi Beispiller vu gudde Praxis zesummestellen: zum Beispill Sensibiliséierungserhéijung, Entwécklung vun neier Politik oder Praxis, Training a praktesch Orientatioun fir Bewerberinnen (Dora [66]). Demande fir Subventiounen vun dëser Aart war héich - iwwer 55 Bewerberinnen aus 29 Länner - wat eng wuessend Unerkennung vun der Noutwendegkeete fir Reform uginn.

Berufflech Fuerschungsmanagement Associatiounen wéi den International Network of Research Management Societies (INORMS) hunn och aktiv Ressourcen entwéckelt fir organisatoresch Verännerungen ze guidéieren, inklusiv de SCOPE Framework Research Evaluation Group | INORMS - D'INORMS SCOPE Kader fir Fuerschung Evaluatioun [67] déi fänkt un ze definéieren wat geschätzt gëtt, wien bewäert gëtt a firwat (eng nëtzlech Erklärungsposter hei [eent]).

Den internationalen Entwécklungssecteur huet nei Perspektiven zur Fuerschungsevaluatioun ugebueden, e gudde Beispill Fuerschung Qualitéit Plus | IDRC - International Entwécklung Fuerschung Center [69], déi moosst wat fir d'Leit um Empfang vun der Fuerschung wichteg ass. De Research Quality Plus (RQ+) Tool erkennt datt wëssenschaftlech Verdéngschter noutwendeg awer net genuch ass, an unerkennt déi entscheedend Roll vun der Benotzergemeinschaft bei der Bestëmmung ob Fuerschung relevant a legitim ass. Et erkennt och datt d'Fuerschungsaktualiséierung an den Afloss wärend dem Fuerschungsprozess ufänken. Fuerschungsapplikatioune ginn dacks vun héich interdisziplinäre Panelen bewäert, déi och Entwécklungsexperten vun ausserhalb vun der Akademie enthalen (zB engem Regierungsdepartement oder Net-Regierungsorganisatioun (ONG)), Praktiker a Vertrieder am Land: dëst verstäerkt d'Wichtegkeet vun der Benotzergemeinschaft / Net-Thema Experten d'Fuerschung ze verstoen a wéi se an der Praxis applizéiert ka ginn. Fuerschung a komplexen, nidderegen Akommes oder fragilen Astellunge kann vun engem Ethik Toolkit oder Kader begleet ginn, entwéckelt fir ethesch Choixen am Fuerschungsliewenszyklus z'informéieren an z'ënnerstëtzen, vun Ufank bis Verbreedung an Impakt, z. Reid et al., 2019 [70] Eng. 'Theory of Change' Approche gi wäit an der internationaler Entwécklungsfuerschung vun Donateuren, ONGen a multilateralen Agenturen benotzt, wou d'Bewerber Weeër fir Impakt musse artikuléieren, ënnerstëtzt duerch Iwwerwaachung, Evaluatioun a Léierkader, z. Valters, 2014 [71] Eng. D'akademesch Fuerschungsgemeinschaft kann potenziell vun der Entwécklungsgemeinschaft léieren.

Unerkennung vun der Roll vun de Finanzmëttelen an der Gestaltung vun de Strategien vun den HEI, de Global Research Council (GRC) Responsable Research Assessment (RRA) Initiativ [72] huet grouss Fuerschungsfinanzer op der ganzer Welt encouragéiert fir un d'RRA Ambitiounen an hiren eegene regionalen an nationale Kontexter ze schaffen an effektiv Evaluatiounskader z'entwéckelen fir den Impakt ze bewäerten (Erklärungsvideo hei [73]). Kommissioun vun engem Aarbechtspabeier iwwer RRA (Curry et al., 2020 [74]), huet de GRC seng Memberen opgeruff RRA Prinzipien z'integréieren a konkret Handlungen ze huelen fir se z'erfëllen, a vuneneen ze léieren duerch Zesummenaarbecht an Deele vu gudde Praxis. An international Aarbechtsgrupp [75] gëtt Leedung an Ënnerstëtzung fir GRC Memberen, hëlleft hinnen Iwwergank vu Bewegung zu Aktioun.

Am groussen Deel duerch d'Efforte vun der GYA fänken d'ECRs och un sech ronderëm dës Agenda ze mobiliséieren. Seng Aarbechtsgrupp iwwer Wëssenschaftlech Excellence [76] schafft fir d'Fuerschungsëmfeld z'identifizéieren, déi dozou bäidroe fir 'Kuriositéit a Kreativitéit an der Wëssenschaft ze entlaaschten an d'Entwécklung vum mënschleche Potenzial duerch Diversitéit an Inklusioun ze förderen'. Hir Aarbecht fuerdert d'ECR Communautéit fir Definitioune vun "Exzellenz" vun hiren Organisatiounen erauszefuerderen, un Initiativen ze engagéieren fir d'Fuerschungsevaluatioun ze reforméieren an d'Young Academies Bewegung matzemaachen. Et fuerdert och d'Finanzéierungs- an d'Emsetzungsorganer fir ECRs a Fuerschungsevaluatiounsdebatten ze involvéieren an eng méi breet Diversitéit vu Bäiträg zu, a Karriären an der Fuerschung unerkennen.

Obwuel e puer Universitéiten an aner HEI ënnerschriwwen DORA sinn an / oder der Europäescher Bewegung bäitrieden (ënner beschriwwen), se schéngen net eng Organisatioun sech kollektiv ronderëm Fuerschung Evaluatioun an der Aart a Weis, datt aner Schlëssel Walbezierk sinn.

d' EU Coalition on Reforming Research Assessment [80], oder CoARA, am Juli 2022 guttgeheescht, ass déi gréisst Initiativ iwwer d'Reform vun der Fuerschungsevaluatioun op der Welt. Véier Joer an der Maach an entwéckelt vun 350 Organisatiounen a 40 (haaptsächlech europäesch) Länner, hunn d'Europäesch Universitéitsverband a Science Europe (en Netzwierk vun de Wëssenschaftsfinanzéierer an Akademien vum Kontinent), a Konzert mat der Europäescher Kommissioun en Accord oder e Set entwéckelt. vun de Prinzipien (a'Reform Rees'), fir méi inklusiv a verantwortlech Fuerschungsbewäertung (CoARA, 2022 [81]). Den Accord konzentréiert sech op dräi Niveaue vun der Bewäertung: Institutiounen, eenzel Fuerscher an d'Fuerschung selwer. Wärend vun europäesche Partner regéiert, huet d'Koalitioun Ambitiounen global ze ginn a béid DORA an d'GYA si scho Signatairen. D'Signateure verpflichte Ressourcen ze engagéieren fir d'Fuerschungsevaluatioun ze verbesseren, nei Critèren an Tools fir d'Evaluatioun z'entwéckelen, a Sensibiliséierung ze erhéijen an Ausbildung iwwer Fuerschungsevaluatioun ze bidden (zB Peer Reviewer). Dës Entwécklung gouf beschriwwen als "dat hoffnungsvollst Zeechen bis elo vu richtege Verännerung" (Natur, 2022 [82] an.

D'EU finanzéiert och e puer spannend nei Initiativen fir d'Reform vun der Fuerschungsevaluatioun z'ënnerstëtzen: notamment Open an Universal Science (OPUS [83]) - eng "iwwergräifend Suite" vun Indikatoren iwwer verschidde Fuerschungsprozesser an Outputen z'entwéckelen, an doduerch europäesch Fuerscher encouragéieren fir oppe Wëssenschaft ze praktizéieren - an den Open Science Assessment Dataspace GraspOS [84] - en oppenen Dateraum ze bauen fir d'Politikreform fir d'Fuerschungsbewäertung z'ënnerstëtzen.

Den Europäesche Fuerschungsrot (ERC), deen Grenzfuerschung iwwer all Felder ënnerstëtzt (mat engem Budget vun 16 Milliarden € fir 2021-2027) huet CoARA ënnerschriwwen an huet seng Evaluatiounsformen a Prozesser geännert fir méi narrativ Beschreiwunge opzebauen, dorënner manner Rechnung. konventionell Karriärweeër an 'aussergewéinleche Bäiträg' zu der Fuerschungsgemeinschaft. Propositioune gi méi op hire Verdéngschter beurteelt wéi op de vergaangene Leeschtungen vum Bewerber a wäerte weider vu Peer-Review-Paneele evaluéiert ginn, besteet aus féierende Geléiert, déi den eenzege Critère vu wëssenschaftlecher Exzellenz benotzen (ERC, 2022 [85] an.

E puer europäesch Akademien sinn och engagéiert. De Verwaltungsrot vun ALLEA [86], d'Europäesch Federatioun vun den Akademien fir Wëssenschaften an Humanitéiten, déi néng vun de méi wéi 50 nationalen Akademien an 40 europäesche Länner representéiert, huet d'CoARA-Bewegung ënnerstëtzt. D'ALLEA huet sech verflicht, eng speziell Task Force ze grënnen, fir gutt Praktiken fir d'Zulassung vun neien Akademien ze sammelen, auszetauschen a ze fërderen. Fellows a fir zu engem 'sënnvollen kulturellen Austausch' vun der Fuerschungsbewäertung bäizedroen, baséiert op Prinzipie vu Qualitéit, Integritéit, Diversitéit an Offenheet. An hirem 2022. Oktober Ausso , ALLEA fuerdert Memberakademien op déi folgend ze maachen:

1. D'Diversitéit vun de Bäiträg zu, a Carrière an der Fuerschung unerkennen am Aklang mat de Besoinen an der Natur vun der Fuerschung; am Fall vun Akademie Gesellschaften, Selektiounsprozeduren sollten (1) d'Geschlechtbalance an déi eenzegaarteg Erausfuerderunge vu fréie Karriärfuerscher berücksichtegen, (2) Diversitéit vu Kulturen an Disziplinnen ënnerstëtzen, (3) eng Villfalt vu Kompetenzberäicher an Talenter schätzen, an (4) Interdisziplinaritéit a Méisproochegkeet förderen.

2. Basis Fuerschung Bewäertung virun allem op qualitativ Evaluatioun fir déi Peer review zentral ass, ënnerstëtzt duerch responsabel Notzung vun quantitative Indicateuren; Bewäertung vun Exzellenz an Impakt betreffend d'Aarbecht vum Kandidat Fellows soll op qualitative Peer review baséieren, déi de fundamentale Prinzipien vu Rigoritéit an Transparenz entsprécht an d'spezifesch Natur vun der wëssenschaftlecher Disziplin berücksichtegt.

3. Opginn onpassend Notzung vun Journal- a Publikatioun-baséiert Metriken an Fuerschung Bewäertung; Besonnesch heescht dat ewechzekréien vu Metriken wéi de Journal Impact Factor (JIF), Article Influence Score (AIS) an h-Index als dominante Proxy fir Qualitéit an Impakt.

Allea Statement On Reforming Research Assessment With The European Academies

An hir gemeinsam Äntwert [87] zum EU-Accord an der CoARA-Koalitioun huet d'ECR-Communautéit an der GYA och dëst Engagement begréisst a proposéiert Weeër fir hir Prinzipien ëmzesetzen. Dës enthalen Praktiken déi inklusiv sinn an d'Diversitéit vun den nationalen Spezifizitéiten an Disziplinnen Charakteristiken reflektéieren, mat Fuerscher vun alle Karriärstadien, déi Ausbildung, Ureiz a Belounungen kréien, mat obligatorescher Ausbildung iwwer oppe Wëssenschaft fir Fuerscher, Personal a Comitésmemberen déi vital sinn.

Fuerschungsintensiv Universitéiten an Europa sinn och hannert der Reform vun der Fuerschungsevaluatioun als Wee fir "multidimensional" Fuerschungskarriere komm (Overlaet, B., 2022 [88]). Si hunn e gemeinsame Kader entwéckelt fir d'Universitéiten ze inspiréieren an z'ënnerstëtzen fir eng Diversitéit vu Bäiträg an der Fuerschung, der Ausbildung an der Gesellschaft ze erkennen.

Um nationalem Niveau pilotéiere verschidde Länner elo verschidde Bewäertungsmodeller: zum Beispill national Finanzéierungsagenturen an Belsch, Holland, Schwäiz an UK benotzen all 'narrativ CVs'. Narrativ CVs kucken méi holistesch op akademesch Erreeche: Bäitrag zu der Generatioun vu Wëssen, zur Entwécklung vun Individuen, zu der méi breeder Fuerschungsgemeinschaft an zu enger méi breeder Gesellschaft (Royal Gesellschaft [89]). Wärend et ëmmer méi Ënnerstëtzung fir dës Aarte vu CVen gëtt, gëtt et och e puer Suergen datt se d'Akademiker forcéiere fir alles gutt ze sinn, an doduerch déif Expertise an der Verfollegung vum Allrounder Status ze kompromittéieren (Grove, J., 2021 [eent]).

Véier Beispiller vun nationale Fuerschungssystemer, déi national Reformen a beruffsorientéierter akademescher Bewäertungen koordinéieren, sinn an de folgenden Textkëschte mat abegraff.

National Beispill: Groussbritannien

De UK Research Evaluation Framework (REF) moosst d'Fuerschung Impakt duerch zwou Dimensiounen: 'Bedeitung' (de konkreten Ënnerscheed e Projet mécht) an 'Erreeche' (déi quantifizéierbar Ausmooss zu deem et dat mécht) (UKRI). Impakt hei ass definéiert als "en Effekt op, Ännerung oder Benefice fir d'Wirtschaft, d'Gesellschaft, d'Kultur, d'ëffentlech Politik oder d'Servicer, d'Gesondheet, d'Ëmwelt oder d'Liewensqualitéit, iwwer d'Akademie", awer doriwwer eraus ass et ganz oppen, disziplin- variabel an zwar zweedeiteg, net adequat fir den ëffentlechen Engagement ze berechnen, zum Beispill.

De UK REF gëtt an 2022–2023 ënner dem Future Research Assessment Programm fir méiglech nei Approche fir d'Bewäertung vun der UK Héichschoulfuerschungsleeschtung z'entdecken, an enthält d'international Fuerschungsbewäertungspraxis ze verstoen. Déi nächst Iteratioun vun der REF wäert méiglecherweis e méi diversen Set vun Ausgänge berechnen a vläicht souguer d'Wichtegkeet reduzéieren, déi hinnen ugeschloss ass. Den aktuelle Modell leet 60% Wichtegkeet un d'Output, 25% un d'Fuerschungsimpact an 15% un d'Fuerschungskultur / d'Ëmwelt. Wann dës méi gläichgewiicht gewiescht wieren, da géif d'REF ganz anescht ausgesinn, mat méi Wichtegkeet u Fuerschungskultur, Fuerschungsintegritéit an Teamaarbecht verbonnen (Grove, 2020).

National Beispill: Finnland

Am Joer 2020 huet d'Federatioun vu Finnland vu Geléiert Gesellschaften eng Taskforce vu Fuerschungsfinanzer, Universitéiten a Gewerkschaften koordinéiert, déi d'Erklärung publizéiert hunn. Gutt Praxis an der Fuerschung Bewäertung. Dëst stellt Orientatioun aus fir e verantwortleche Prozess fir d'Bewäertung vun eenzelne Akademiker ze verfollegen, dorënner fënnef allgemeng Prinzipien vun der Evaluatioun: Transparenz, Integritéit, Fairness, Kompetenz an Diversitéit. Good Practice in Research Assessment fuerdert d'Fuerschungsintegritéit, d'Ausbildung an d'Mentorschaft, a wëssenschaftleche Service (zB Peer Review) fir besser unerkannt ze ginn bei der Bewäertung vun den akademesche Bäiträg vun Individuen. D'Ausso gesäit Bewäertungen als net nëmmen iwwer d'Produktioun vun summativ Uerteeler: et encouragéiert och Evaluatoren Feedback ze deelen mat Individuen déi bewäert ginn fir Feedback a Léieren ze erliichteren.

Fuerschung-Leeschtungsorganisatiounen a Fuerschungsfinanzéierungsorganisatiounen hunn all engagéiert fir Good Practice an der Fuerschung Assessment ëmzesetzen an hir eege lokal Variatiounen op der Leedung ze generéieren, an en nationale Fuerscherportfolio CV Modell gëtt entwéckelt. Good Practice in Research Assessment engagéiert sech fir reegelméisseg Bewäertungen a Verfeinerungen.

National Beispill: Holland

An Holland huet den nationale Unerkennungs- a Belounungsprogramm am Joer 2019 ugefaang, mat der Verëffentlechung vun der Positiounserklärung Raum fir jiddereen säin Talent. Dës national Zesummenaarbecht tëscht der Royal Netherlands Academy of Arts and Sciences (KNAW - en IAP an ISC Member), Fuerschungsfinanzer, Universitéiten a medizinesche Zentren seet datt systematesch Moderniséierung vu Fuerschungsbewäertungskulturen muss geschéien. Dobäi stellt et fënnef Ambitiounen fir d'Verännerung vun de Bewäertungsprozeduren aus: méi Diversitéit vu Karriärwee, d'Erkennung vun individuellen an Teamleeschtungen, Prioritéit vun der Qualitéit vun der Aarbecht iwwer quantitativ Indikatoren, oppe Wëssenschaft an akademesch Leedung.

Zënter 2019 sinn hollännesch Universitéiten geplënnert fir hir eege lokal Iwwersetzunge vun der nationaler Visiounserklärung anzesetzen. Zur selwechter Zäit hunn d'Finanzéierungsagenturen méi 'narrativ CV' Formater initiéiert an opgehalen bibliometresch Informatioun ze froen, zitéiert San Francisco DORA als Inspiratioun. Den hollännesche Fuerschungsrot ass ganz rezent an eng 'Beweis-baséiert' CV an deem e puer quantitativ Informatioune benotzt kënne ginn. De KNAW huet och seng eege entwéckelt dräi-Joer Plang fir d'Unerkennung an d'Belounungsagenda intern ëmzesetzen. E Vollzäitprogrammmanager an Team goufen ernannt fir den Unerkennungs- a Belounungsreformprogramm z'erliichteren, an e "Unerkennungs- a Belounungsfestival" gëtt jäerlech ënner grousse Reform-Akteuren ofgehale fir d'Gemeinschaftswäit Léieren z'ënnerstëtzen.

Endlech finanzéiert vun engem DORA Communautéit Engagement Subventiounen, der Young Scientist in Transition Initiative fir PhD Studenten, baséiert zu Utrecht, huet en neie Evaluatiounsguide fir PhDs entwéckelt, an engem Effort fir d'Fuerschungskultur z'änneren.

National Beispill: Norwegen

Am Joer 2021 hunn Norwegen, Universitéiten Norwegen an den Norwegian Research Council publizéiert NOR-CAM - Eng Toolbox fir Unerkennung a Belounungen an akademesche Bewäertungen. NOR-CAM bitt e Matrixkader fir d'Transparenz ze verbesseren an d'Evaluatioun vu Fuerschung a Fuerscher aus schmuele bibliometresch-informéierten Indikatoren ze verbreeden. NOR-CAM steet fir Norwegian Career Assessment Matrix, a gouf vun engem 2017 adaptéiert Rapport vun der Europäescher Kommissioun déi d'Open Science Career Assessment Matrix presentéiert huet. Wéi säin europäesche Virgänger, stellt NOR-CAM och Weeër fir eng besser Integratioun vun oppe Wëssenschaftspraktiken an Bewäertungen. D'Matrix zielt Evaluatoren a Kandidaten fir akademesch Positiounen ze guidéieren, Fuerschungsfinanzéierungsapplikatiounen an national Evaluatoren déi norwegesch Fuerschung an Ausbildung evaluéieren. Et soll och als allgemenge Guide fir individuell Karriärentwécklung handelen.

D'Matrix enthält sechs Haaptberäicher vu Kompetenz: Fuerschungsausgaben, Fuerschungsprozess, pädagogesch Kompetenzen, Impakt an Innovatioun, Leedung an aner Kompetenzen. D'Matrix liwwert dann Suggestiounen fir d'Karriärplanung an d'Bewäertungserkennung ronderëm jiddereng vun de Critèren z'erméiglechen - Beispiller vu Resultater a Fäegkeeten, Dokumentatiounsmëttel an Ufroe fir Reflexioun iwwer all Critère. D'Kandidate ginn net erwaart gläich op all Critèren ze Leeschtunge.

NOR-CAM gouf vun engem Aarbechtsgrupp vun Fuerschung leeschtungsfäheg a Finanzéierung Organisatioun Akteuren geschaf, vun Universitéiten Norwegen koordinéiert, dat heescht am Prinzip et kafen-an aus Membere vun all Norweegesch Universitéiten. Workshops mat norwegesche Universitéite goufen duerno ofgehalen fir Weeër z'entwéckelen fir NOR-CAM an Rendez- a Promotiounsbewäertungsprozeduren z'integréieren, an en "automateschen" CV System gëtt entwéckelt fir Daten aus verschiddenen nationalen an internationale Quellen z'erhalen ass an der Entwécklung fir administrativ ze reduzéieren Belaaschtung. D’Koordinateure vun deenen dräi uewe genannten Reformen op nationalem Niveau hu sech regelméisseg getraff fir hir Erfarungen auszetauschen an ze léieren.

Latäinamerika an d'Karibik (LAC) kontrastéieren op vill Manéiere mat aneren Deeler vun der Welt. Hei gëtt d'Wëssenschaft als weltwäit ëffentlech Gutt ugesinn a seng Fuerschungs- an akademesch Verëffentlechungssystemer an Infrastruktur sinn ëffentlech Besëtz (finanzéiert) an net kommerziell: awer dës regional Stäerkten an Traditiounen sinn nach net an Evaluatiounssystemer reflektéiert. Wichteg Akteuren, déi Ännerunge beaflosse kënnen, sinn déi national Fuerschungsrot, Wëssenschaftsministère an Haaptfuerschungsuniversitéiten - d'Roll vun den HEIs ass vital, well méi wéi 60% vun de Fuerscher an Universitéite sinn (RiCyT, 2020 [91]). Et gëtt d'Potenzial fir d'Evaluatiounssystemer méi enk mat den SDGs a mat oppe Wëssenschaften a Biergerwëssenschaftsbewegungen auszegläichen, déi eng floréierend Traditioun an der Regioun hunn.

De Moment gëtt et eng héich Fragmentatioun vu Fuerschungsbewäertungssystemer national, lokal an institutionell, a setzt d'Fuerschung a Konkurrenz mat anere Funktiounen, wéi Léierpersonal, Extensioun a Koproduktioun. Fuerschung Evaluatioun a Fuerscher Auszeechnung Systemer am LAC allgemeng favoriséiert eng Notioun vun Exzellenz verankert an Methodologien vum 'Global North', baséiert exklusiv op den Impakt Faktor vun Zäitschrëften an Universitéit Ranking (CLACSO, 2020 [92]). Unerkennung vu verschiddene Forme vu Wëssensproduktioun a Kommunikatioun, an der Villfalt vun akademesche Karriären (zB Léierpersonal, Ausbildung a Mentoring, Biergerwëssenschaften an ëffentlech Kommunikatioun vu Wëssenschaften) fehlen haaptsächlech an der Fuerschungsevaluatiounspraktiken. Dëst ass besonnesch problematesch fir Fuerscher a Sozialwëssenschaften a Geeschteswëssenschaften, wou Monographien a lokal Sprooche extensiv benotzt ginn (CLACSO, 2021 [93]). Regional Zäitschrëften an Indikatoren ginn an esou Evaluatiounsprozesser devaluéiert oder net unerkannt. All dëst gëtt verschäerft duerch schwaach Informatiounssystemer a schwaach Interoperabilitéit vun (besonnesch Gemeinschaftsbesëtzer) Infrastrukturen, ënnerfinanzéiert well knapp Fongen op APC Bezuelungen fir Open Access Zäitschrëften geleet ginn.

Trotzdem fänken e puer Universitéiten an der Regioun Evaluatiounspraktiken ëmzesetzen déi eng Kombinatioun vu qualitativen a quantitativen Methodologien ofsetzen, besonnesch an der Bewäertung vu Fuerscher a Missiounsorientéierter Fuerschung (Grass, 2022 [94]). Den Iwwergank op méi ëmfaassend Fuerschungsevaluatiounsschemaen erfuerdert de Co-Design vu méi qualitative Critèren; d'verantwortlech Notzung vu quantitativen Donnéeën an d'Verstäerkung vu Peer review Prozesser; inkrementell Ännerungen déi Politik a Methodologien harmoniséieren a koordinéieren fir gemeinsame Prinzipien iwwer verantwortlech Fuerschungsbewäertung an oppe Wëssenschaft; nei Methodologien an Daten fir eng besser bewäerten inter/ transdisziplinär Wëssenschaft, Ëmwelt- a lokal Themen; gedeelt, interoperabel, nohalteg, federéiert Infrastrukturen déi Bibliodiversitéit a Méisproochegkeet ënnerstëtzen; a partizipativ, bottom-up Designs déi d'Participatioun vun de Bierger a soziale Bewegungen erweideren an d'Inklusioun vun ënnerrepresentéierte Fuerschungsgruppen.

Fir dës Erausfuerderungen unzegoen, huet d'Regioun eng Rei vu Prinzipien a Richtlinne fir d'Fuerschungsbewäertung ugeholl. Déi CLACSO-FOLEC Deklaratioun vu Prinzipien fir Fuerschung Bewäertung [95], am Juni 2022 guttgeheescht, setzt sech fir Qualitéit a sozial relevant Wëssenschaft ze garantéieren an ze schützen, an d'Prinzipien vun DORA an oppener Wëssenschaft ëmfaassen, d'Diversitéit vu Fuerschungsausgaben a Fuerschungscarrièren, de Wäert vu regionalen Zäitschrëften an Indexéierungsservicer, an vun Interdisziplinaritéit, lokal Sprooch an Naturvölker Wëssen. Bis haut huet et iwwer 220 Unhänger an et gi scho positiv Tendenzen an der verantwortlecher Fuerschungsbewäertung a Beispiller vu Reformen. E puer national Beispiller ginn an de folgenden Textkëschte geliwwert.

National Beispill: Kolumbien

Finanzéiert vun engem DORA Community Engagement Award, hunn d'kolumbianesch Associatiounen vun den Universitéiten, Universitéitsverëffentlecher, Fuerschungsmanager an en Netzwierk vu Wëssenschaft an Technologiemanagement, ënner anerem, zesumme geschafft un d'Méiglechkeeten an Erausfuerderunge vu verantwortleche Metriken a Kolumbien. Duerch eng Serie vun Atelieren a Konsultatiounen, och mat internationalen Organisatiounen als Benchmarks, hunn se eng Rubrik entwéckelt fir kolumbianesch Institutiounen ze hëllefen hir eege REFs ze designen. Dës Rubrik beméit sech fir Erausfuerderungen ze berechnen, déi um lokalen Niveau identifizéiert goufen, déi - fir HEIs - de Mangel u Wëssen iwwer Fuerschungsevaluatiounsalternativen enthalen, d'Natur vum nationalen Fuerschungsevaluatiouns-Ökosystem a Resistenz géint Verännerung. A engagéiert Websäit gouf entwéckelt, zesumme mat Infografiken fir Fuerscher ze hëllefen, an d'Verbreedung an d'Léiere gëtt weider am ganze Land gedeelt.

Méi Informatiounen: De kolumbianesche verantwortleche Metriksprojet: Richtung e kolumbianesche institutionellen, methodologeschen Instrument fir Fuerschungsbewäertung | DORA (sfdora.org)

National Beispill: Argentinien

En interessante Reformversuch an der Nationalrot fir wëssenschaftlech an technesch Fuerschung (Consejo Nacional de Investigaciones Científicas y Técnicas - CONICET) gouf d'Schafung vun enger spezieller Resolutioun fir d'Sozial- a Mënschewëssenschaften, déi Zäitschrëften, déi am Mainstream Circuit indexéiert sinn, op de selwechte Niveau mat Zäitschrëften indexéiert a regionale Basen wéi z. SciELO, redalyc or Latindex-Catalogo. D'Reglement ass am Moment ënner Iwwerpréiwung, fir e puer Ambiguititéiten an hirer Ëmsetzung ze klären an hir Critèren auszebauen. Am Géigesaz, am Joer 2022, huet de CONICET Verwaltungsrot un d'San Francisco DORA agehalen, ëffentlech unerkannt säin Engagement fir d'Fuerschung ze verbesseren andeems d'Evaluatioun a kontinuéierlech Verbesserung vu senge Prozesser verstäerkt gëtt.

d' National Agentur fir d'Promotioun vun der Fuerschung, technologescher Entwécklung an Innovatioun (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), ënner dem Ministère fir Wëssenschaft, Technologie an Innovatioun, ass den Haaptfuerschungsfinanzer am Land wéinst der Diversitéit an den Ëmfang vun hiren héich kompetitiven Uruff. Am Moment implementéiert AGENCIA eng Programm fir Fuerschungsbewäertungsprozesser an hiren Haaptfinanzfongen ze stäerken. Aktuell Verbesserungen enthalen d'Remuneratioun vu Peer-Rezensiounen fir hiren Engagement mat dëse Prozesser ze stimuléieren, Ureiz fir den oppenen Zougang, well d'Resultater vum Projet sollen dem Domaine public duerch Publikatiounen oder Dokumenter vun der oppener Zirkulatioun bestëmmt ginn (am Aklang mat den Obligatiounen vun 'Open Access Institutional Digital RepositoriesNational Law 26.899) an d'Inkorporatioun vu Gläichheet an Inklusivitéitsdimensioune duerch Geschlecht, ënnerrepresentéiert Generatiounsgruppen an / oder institutionell Verstäerkung Ausgläichungsmechanismen a Fuerschungsbewäertungsprozesser. Trotzdem, a verschiddenen Disziplinarcomitéen, kurrikulären Hannergrond vu féierende Fuerscher verantwortlech fir d'Propositioune gëtt nach ëmmer vun hire Kollegen bewäert mat der Benotzung vun Zitat Impakt Indikatoren.

Schlussendlech, finanzéiert vun engem DORA Community Engagement Grant, huet d'Fakultéit fir Psychologie an der Universidad Nacional de la Plata eng virtuell Event am September 2022 iwwer Bewäertung an der Psychologie a Sozialwëssenschaften, déi iwwer 640 ugezunn hunn (haaptsächlech undergraduates) aus 12 Länner, beweist d'Interesse vu jonke Leit um Kontinent. D'Evenement huet gehollef de véier Joer Gestiounsplang vun der Fakultéit ze formen a wäert e Buch iwwer d'Reform vun der akademescher Evaluatioun am spueneschsproochege Kontext informéieren.

National Beispill: Brasilien

D'Fuerschungsevaluatioun gëtt staark a Brasilien ënner Fuerschungsinstituter a Fuerscher diskutéiert, wann net Staat a Bundesregierungen. Wéi och ëmmer, trotz der héchster Zuel vun institutionnelle Signatairen fir DORA op der Welt, sinn d'Beispiller vun der Reform vun der Fuerschungsevaluatioun iwwerraschend wéineg. No enger Ëmfro vun DORA Ënnerschrëften am Land, institutionell Konsultatiounen an engem ëffentlechen Event, finanzéiert vun engem DORA Community Engagement Grant, eng guide gouf fir d'Universitéitsleit virbereet fir verantwortlech Evaluatiounspraktiken z'entdecken.

De Guide konzentréiert sech op dräi Haaptaktiounen: (1) Sensibiliséierung vun der verantwortlecher Evaluatioun an all senge Formen; (2) Training a Kapazitéitsbau vun Evaluateuren an déi bewäert ginn; an (3) Ëmsetzung an Bewäertung. Déi nächst Schrëtt sinn en Netz vun Praktiker ze bauen - oder zéng Uni Intelligenz Büroen - fir Ännerung vun Evaluatiounspraktiken a Pilot kontextsensibel Modeller ze bewierken, a schlussendlech e Fahrplang fir brasilianesch Institutiounen z'entwéckelen, déi Ännerung wëllen bréngen.

Projeto Métricas (2022). Institutional Erausfuerderungen a Perspektiven fir responsabel Evaluatioun am brasilianesche Héichschoul: Projeto Métricas DORA Partnerschaft Resumé vun Conclusiounen. Universitéit vu São Paulo, Brasilien.

Et gëtt eng kontinuéierlech Verréckelung ewech vu reng quantitativen Indikatoren an Nordamerika, beschleunegt duerch déi oppe Wëssenschaftsagenda. Open Wëssenschaft an oppen Iwwerpréiwung hëllefen d'Evaluatiounspraktiken méi transparent ze maachen, déi eng Geleeënheet fir Selbstreflektioun an Surfacing Probleemer ubidden, zB Selbstzitatioun a Cronyismus bei Hiren, Promotioun a Peer review Panelen, souwéi gebierteg Geschlecht an aner Biases. Debatten lafen iwwer d'Noutwennegkeet fir méi schlau, intelligent Indikatoren a gemëschte Evaluatiounsmethoden z'entwéckelen, mat Potenzial fir en hybride, konvergent Evaluatiounsmodell deen d'Basiswëssenschaft servéiert (Fortschrëtter Wëssen) an ugewandt Wëssenschaft (gesellschaftlechen Impakt).

Et gëtt och eng Unerkennung datt d'Universitéiten akademesche Raum a Fräiheet brauchen fir sech vun den Tools ze wäschen, déi se am Moment fir d'Evaluatioun benotzen, ouni "first mover Nodeel", an datt d'Benotzergemeinschaft en Deel vum Evaluatiounsprozess sollt sinn fir d'Benotzerfrëndlechkeet ze moossen. Wëssen, seng Opnahm an Impakt. Awer et gëtt och e kontingent Resistenz géint Verännerung (eng 'gewënschte Blannheet') vun uewen an ënnen vum Fuerschungs-Ökosystem - vun deenen, déi vum Status Quo profitéieren an déi, déi viru kuerzem agaange sinn. Ganz wéineg US Universitéiten hunn DORA ënnerschriwwen an en neien DORA Projet beméit sech ze verstoen firwat dat de Fall ass (TARA). Trotzdem, souwuel a Kanada wéi och an den USA ginn et e puer interessant Beispiller vun nationalen an institutionellen Initiativen entwéckelt fir systemesch Ännerung ze bréngen (kuckt déi folgend Textboxen).

National Beispill: USA

An den USA ass d'National Science Foundation eng féierend Stëmm fir Ännerung duerch seng Fortschrëtt Fuerschung Impakt an Societeit Programm a begleet méi breet Impakt Toolkit fir Fuerscher an Evaluateuren. Gläichheet, Diversitéit an Inklusioun, dorënner engagéieren Naturvölker an traditionell marginaliséiert Communautéiten, sinn Schlëssel Chauffeuren. En IAP an ISC Member, d'US National Academies of Sciences sicht och eng breet Reform ze stimuléieren, eng Plattform fir Informatiounsaustausch a Léieren iwwer d'Reform vum traditionelle Fuerscher CV (NAS Strategic Council, 2022). Gebuer aus der Aarbecht vun den US Akademien, déi Héichschoul Leadership Initiative fir Open Stipendium ass eng Kohort vu méi wéi 60 Colleges an Universitéiten engagéiert fir eng kollektiv Handlung fir oppe Stipendium ze förderen, inklusiv Iwwerdenken vun der Fuerschungsevaluatioun fir Oppenheet an Transparenz ze belounen.

Den National Institut fir Gesondheet, zum Beispill, entworf eng nei biosketch (SciENcv) fir Personal an Subventiounen Uwendungen fir systemesch Bias a Berichterlaascht ze minimiséieren, a gläichzäiteg méi Impakt-gedriwwen sinn.

National Beispill: Kanada

A Kanada ginn et e puer Gespréicher iwwer d'Reform vun der Fuerschung Evaluatioun, gedriwwe vun DORA; all dräi Féderalen Fuerschung Conseils sinn Ënnerschrëft. Den Naturwëssenschaften an Ingenieursrot huet nei definéiert Critèrë fir Fuerschungsqualitéit, Verzicht op Bibliometrie, Zitater an den h-Index, am Aklang mat DORA Prinzipien: Qualitéitsmetriken enthalen elo gutt Fuerschungsdaten an Datenzougangmanagement, Equity, Diversitéit an Inklusioun, a Trainingsverantwortung. Déi aner zwee Fuerschungsrot wäerte wahrscheinlech nokommen.

Kanadesch Fuerscher tendéieren op 'Wëssensmobiliséierung' ze fokusséieren, en intentionalen Effort fir de gesellschaftlechen Impakt vun der Fuerschung ze förderen, duerch Koproduktioun mat Benotzergemeinschaften (ISI, 2022). Fuerschung Impakt Kanada ass e Reseau vun iwwer 20 Universitéiten, dat zielt fir institutionell Kapazitéit duerch Impakt Alphabetiséierung ze bauen, oder d'Fäegkeet fir "passend Impakt Ziler an Indikatoren z'identifizéieren, Impakt Weeër kritesch ze bewäerten an ze optimiséieren, a reflektéieren iwwer Fäegkeeten, déi néideg sinn fir Approche a Kontexter ze personaliséieren" den Impakt vun der Fuerschung fir d'ëffentlech Wuel maximéieren.

Et ass derwäert ze notéieren datt ganz wéineg kanadesch Universitéiten DORA ënnerschriwwen hunn. Den Haaptmotivator fir all Ännerung ass méiglecherweis Naturvölker Stipendium ëmfaassen: dëst ass e moralesche Imperativ a Kanada ginn.

Fuerschung Incentive a Belounungssystemer an Afrika tendéieren "international", virun allem westlech, Normen a Konventiounen ze reflektéieren. Afrikanesch Institutiounen beméien dës ze verfollegen wann se hir Approche zu "Qualitéit" an "Exzellenz" an der Fuerschung entwéckelen, awer si sinn net ëmmer passend fir lokal Wëssen a Bedierfnesser. Fuerschung 'Qualitéit', 'Exzellenz' an 'Impakt' sinn net gutt definéiert um Kontinent, a verschidde Fuerscher sinn net gewinnt un eng Kultur vum 'Recherche Impakt'.

Evaluatiounssystemer an Afrika tendéieren net fir Fuerschung fir gesellschaftleche Virdeel, Léier, Kapazitéitsbau, Fuerschungsadministratioun a Gestioun ze berechnen. Verëffentlechungsmodeller sinn net kontextempfindlech, mat APCs erstellen Barrièren fir afrikanesch Fuerschungsoutput. Reform vun de Fuerschungsevaluatiounssystemer kéint hëllefen d'Asymmetrien am Bäitrag ze korrigéieren, déi afrikanesch Fuerschung zu gesellschaftlechen Erausfuerderunge maache kann, souwéi den Zougang zu Ressourcen ze verbesseren fir d'afrikanesch Fuerschungsgemeinschaft ze hëllefen dëst ze maachen. D'Barrièren fir cross-sectoral a cross-disziplinär Kooperatioun ofbriechen ass onbedéngt néideg fir eng Diversitéit vu Meenungen a Wëssenssystemer z'erméiglechen fir z'entwéckelen an ze hëllefen ze interpretéieren wat d'Fuerschungsqualitéit fir Afrika ausmécht. Mechanismen déi lokal, Naturvölker a "konventionell" Weltvisioun iwwer d'Bewäertung vun der Fuerschungsqualitéit an der Exzellenz integréieren, mussen an all Reform berücksichtegt ginn.

Staark Partnerschafte gi ronderëm RRA um Kontinent gebaut. Finanzéiert vun engem internationale Konsortium vun Entwécklungsagenturen, déi Science Granting Councils Initiative (SGCI) [96], engagéiert 17 afrikanesch Länner, huet eng Etude iwwer Fuerschungsexzellenz an Afrika gemaach, sicht Wëssenschaftsfinanzéierungsagenturen a Fuerscherevaluatioun aus enger Global South Perspektiv (Tijssen and Kraemer-Mbula, 2017 [97], [98]). Et huet d'Fro vun der Fuerschungsexzellenz an Afrika südlech vun der Sahara exploréiert an d'Noutwennegkeet vun enger Approche déi d'Notioun vun Exzellenz iwwer Publikatiounen erweidert (Tijssen and Kraemer-Mbula, 2018 [99]); e Richtlinnen Dokument ze produzéieren, dat am Moment aktualiséiert gëtt, iwwer gutt Praktiken bei der Ëmsetzung vun Fuerschungsconcoursen (SGCI [100]). Um World Science Forum am Joer 2022, ënner der Regie vum SGCI an dem GRC, hunn Südafrika National Research Foundation (NRF) an Departement fir Wëssenschaft an Innovatioun aberuff international a lokal Partner d'Roll vun Finanzéierung Agencen am Fortschrëtt RRA ze diskutéieren, an Erfahrungen ze deelen, Viraus gutt Praxis an evaluéieren Fortschrëtter am Kapazitéit-Gebai an Zesummenaarbecht (NRF, 2022 [101]).

d' African Evidence Network [102], e panafrikaneschen, cross-sektorale Netzwierk vun iwwer 3,000 Praktiker huet e puer Aarbechte gemaach fir d'Bewäertung vun der transdisziplinärer Fuerschung (African Evidence Network [103]) awer wéi wäit dëst an nationalen a regionale Bewäertungssystemer agebonne gouf ass nach net kloer. Déi Afrika Fuerschung an Impakt Network [103] huet un enger Scorecard geschafft mat enger Sammlung vun Indikatoren fir d'Qualitéit vun der Wëssenschaft, der Technologie an der Innovatioun (STI) Bewäertung an Afrika ze evaluéieren, déi et hofft sech zu engem webbaséierten Entscheedungsinstrument z'entwéckelen fir STI Investitiounsentscheedungen ze guidéieren .

Um nationalem Niveau sinn inkrementell Ännerungen ugefaang - e puer Beispiller ginn an de folgenden Textboxen uginn. Aner Länner, wou d'Fuerschungsfinanzéierungsagenturen d'Féierung huelen, enthalen Tanzania (COSTECH), Mosambik (FNI) a Burkina Faso (FONRID). Dem GRC seng RRA Initiativ beweist sech als eng wichteg Plattform fir Ännerung um Kontinent ze sinn, sou wéi et aus dem internationalen Entwécklungssecteur léiert, virun allem dem IDRC Fuerschung Qualitéit Plus (RQ +) Bewäertung Kader [104], mam Ënnerscheed datt et scho applizéiert, studéiert a verbessert gouf. Déi Afrika-baséiert International Evaluatioun Academy [105] kann och eng interessant Geleeënheet ginn.

National Beispill: Côte d'Ivoire

Am Häerz vun der Côte d'Ivoire Programme Appui Stratégique à la Recherche Scientifique (PASRES) (Strategic Support Program for Scientific Research) ass d'Iwwerzeegung datt d'Exzellenz an der Fuerschung d'Zuel vun de Fuerschungspublikatioune muss iwwerschreiden an d'Dimensioun 'Rechercheuptake' enthalen. Upassung un den nationale Kontext, baséiert de Fuerschungsevaluatiounsprozess op Critèren am Zesummenhang mat wëssenschaftlecher a sozialer Relevanz, der Bedeelegung vun de Partner, Studentebildung, Wëssensmobiliséierung a Machbarkeet. Evaluatiounspanelen involvéieren wëssenschaftlech Experten (fir d'Qualitéit vun der Fuerschung ze beurteelen), de private Secteur (fir wirtschaftlech Beräicherung ze beurteelen) an aner Institutiounen (fir de kulturellen a soziale Potenzial vun der Fuerschung ze moossen).

PASRES huet zwee lokal Zäitschrëften gegrënnt (eent fir Sozialwëssenschaften a Linguistik an déi aner fir Ëmwelt a Biodiversitéit) an erfëllt d'ganz Käschte vun der Verëffentlechung an dësen. Schlussendlech finanzéiert PASRES Kapazitéitsbauaktivitéiten an thematesch Konferenzen fir Fuerscher z'erméiglechen hir Fuerschung dem Privatsecteur an der Zivilgesellschaft ze presentéieren.

Méi Informatiounen: Ouattara, A. an Sangaré, Y. 2020. Ënnerstëtzt Fuerschung an der Côte d'Ivoire: Prozesser fir d'Auswiel an d'Evaluatioun vun Projeten. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Eds.), African Minds, S. 138–146.

PASS || Programme d'Appui Stratégique Recherche Scientifique (csrs.ch)

National Beispill: Südafrika

Fuerschungsevaluatioun a Südafrika (SA) konzentréiert sech haaptsächlech ëm Bibliometrie. Zënter 1986, wéi de Department of Higher Education (DHET) eng Politik agefouert huet fir Subventiounen un d'Universitéiten ze bezuelen fir Fuerschungspublikatioune publizéiert an Zäitschrëften vun akkreditéierten Indexen, ass d'Universitéitsfuerschungspublikatiounsausgab gläichzäiteg gewuess mat dem Rand Wäert pro Publikatioun ausgezeechent. An engem Effort d'Fuerschung Finanzéierung ze sécheren an hir Carrière virzegoen, SA Fuerscher publizéiert esou vill Artikelen sou séier wéi se konnten, schafen pervers an ongewollt Konsequenzen.

D'Akademie vu Wëssenschaften vu Südafrika (ASSAf) huet e Bericht iwwer wëssenschaftlech Verëffentlechung am Land (2005–2014) opgestallt an Indikatiounen fir zweifelhafte Redaktiounspraktiken a predatoresch Verëffentlechung fonnt (ASSAf, 2019). Mat engem nuancéierten System vun der Kategoriséierung, goufen eng geschätzte Figur vun 3.4% vun de Gesamtartikelen an de leschten zéng Joer als predatoresch beurteelt, mat Zuelen déi méi steil eropgaange sinn aus dem Joer 2011. Lëscht an Akademiker an all SA Universitéiten goufen fonnt (Mouton a Valentine, 2017).

Den ASSAf Bericht huet Empfehlungen op systemeschen, institutionellen an individuellen Niveau gemaach an duerno Géigemoossnamen vun der DHET, NRF an e puer Universitéite schéngen predatoresch Praktiken an SA ze bekämpfen mat der Heefegkeet vu predatoreschen Verëffentlechung vun SA Akademiker (an DHET akkreditéierten Zäitschrëften) an 2014- 2015 an duerno erofgaang. Et waren och Bedenken ënner Fuerscher datt DHET Politiken an SA decouragéiert Zesummenaarbecht an net de Bäitrag vun Individuen bannent grouss Fuerschung Équipë unerkennen, verlaangt eng Revisioun vun Leeschtung appraisal / Fuerschung Evaluatioun Schemaen. D'Benotzung vum Verëffentlechungseenheetssystem gëtt elo als schlechte Proxy unerkannt fir d'Bewäertung vun der Fuerschungsqualitéit an der Produktivitéit a fir d'Auswiel an d'Promotioun vun Akademiker.

Méi Informatiounen:

Academy of Science of South Africa (ASSAf). 2019. Zwielef Joer: Zweet ASSAf Rapport iwwer Fuerschung Verëffentlechung an an aus Südafrika. Pretoria, ASSAf.

Mouton, J. an Valentine, A. 2017. D'Ausmooss vun südafrikanesche geschriwwen Artikelen an predatory Zäitschrëften. South African Journal of Science, Vol. 113, Nr 7/8, S. 1-9.

Mouton, J. et al. 2019. D'Qualitéit vun Südafrika Fuerschung Publikatiounen. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

National Beispill: Nigeria

Universitéiten an Nigeria evaluéieren Fuerscher an dräi Haaptberäicher: Léierpersonal, Fuerschungsproduktivitéit a Gemeinschaftsservicer. Vun dësen ass d'Fuerschungsproduktivitéit méi schwéier gewiicht, mat engem Akzent op publizéiert peer-reviewed Fuerschungsartikelen a berücksichtegt d'Zuel an d'Roll vun den Auteuren (éischt Autoritéit an / oder entspriechend Autoritéit) an dëse Publikatiounen. An engem Effort fir méi global kompetitiv ze ginn, ginn déi meescht Universitéite méi Wichtegkeet un Zäitschrëften indexéiert vun International Scientific Indexing oder SCOPUS, fir méi Wäert op Qualitéit an international Zesummenaarbecht ze setzen; a benotzt de Prozentsaz vun Artikelen an dësen Zäitschrëften als Promotiounskriterien.

Eng onglécklech Konsequenz dovun ass, datt vill Fuerscher, besonnesch déi an de Geeschteswëssenschaften, adequat Finanzéierung an/oder Kapazitéit feelen fir an dësen Zäitschrëften ze publizéieren. Amplaz publizéieren se méi Iwwerpréiwung anstatt Fuerschungsartikelen, oder si fille sech gezwongen, beaflosst, Senior Kollegen als Co-Autoren opzehuelen, opgrond vun hirem finanziellen anstatt intellektuellen Bäitrag. Plagiat klëmmt, sou wéi predatoresch Verëffentlechung. Wéi och ëmmer, de globale Ranking vun den nigerianeschen Universitéiten ass eropgaang, doduerch d'Regierung a Finanzéierungsagenturen zefridden ze stellen, an als Erfolleg gesi ginn. Nigeria ass net eleng an dëser Hisiicht.

D'Nigerian Academy of Science huet säin eegene peer-reviewed Journal als Flaggschëff Journal nei etabléiert, an där d'Akademiker kënne publizéieren (aktuell gratis) an héich vun hiren Institutiounen bewäert ginn.

Héich kompetitiv, quantitativ Metrik-Undriff Bewäertungssystemer dominéieren d'Regioun, mat engleschsproochege Länner typesch Bewäertungskader formen an aner Länner no. An Australien, zum Beispill, gëtt et e kompetitiven Finanzéierungssystem baséiert op Bibliometrie an Uni Rankings: 'souguer d'SDGs ginn zu Leeschtungsindikatoren ëmgewandelt'. Ähnlech Erausfuerderunge existéieren a Malaysia an Thailand, an aner ASEAN Länner si méiglecherweis no. Eng wichteg Ausnam ass China, wou d'Regierung eng bedeitend Roll spillt bei der Schafung vun enger grousser systemescher Ännerung an déi déifgräifend Implikatioune weltwäit kéint hunn (kuckt Textbox).

Encouragéierend ass et e wuessende Bewosstsinn a Suerge bei der Fuerschungsgemeinschaft an der Regioun iwwer d'Limite vun den aktuellen Fuerschungsevaluatiounssystemer an hir Bedrohung fir d'Fuerschungsintegritéit. Och wann d'ECRs, dorënner National Young Academies an den ASEAN-Netzwierk vu Young Scientists, zesumme mat Wurzelbewegungen, ëmmer méi mat dësem Thema engagéieren, kämpfe se fir ze héieren. Regierung a Finanzéierungsgemeinschaften, dorënner d'Universitéitsleitung, si gréisstendeels fehlt vun der Debatt: si leeën Wichtegkeet u quantitative Metriken awer schätzen d'Implikatioune fir d'Fuerschung net. Tatsächlech berichten d'Konsultanten datt méi quantitativ Critèrë bäigefüügt ginn, an deem Mooss datt Institutiounen a Fuerscher de System ufänken ze spillen, Fuerscher Mëssbrauch fërderen.

Awer et gi bedeitend Méiglechkeete fir Ännerung, wéi illustréiert an de folgenden Textboxen.

National Beispill: China

Elo dat fuerschungsproduktivst Land op der Welt (Tollefson, 2018; Statista, 2019), an déi zweet a punkto Fuerschungsinvestitiounen (OECD, 2020), wat a China geschitt, huet d'Potenzial fir richteg systemesch Ännerung ze bewierken. Eng nei Politik op Staatsniveau zielt fir "de wëssenschaftleche Geescht, d'Innovatiounsqualitéit an d'Servicebeitrag" vun der Fuerschung ze restauréieren an "de Retour vun den Universitéiten op hir originell akademesch Ziler ze förderen" (MÉISCHT, 2020). Web of Science Indikatoren wäerten net méi e predominant Faktor fir Evaluatioun oder Finanzéierungsentscheedungen sinn, an och net d'Zuel vun de Publikatiounen a JIFs. Publikatiounen a qualitativ héichwäerteg chinesesch Zäitschrëften ginn encouragéiert an hir Entwécklung ënnerstëtzt. 'Representativ Publikatiounen' - 5-10 Choixpabeieren anstatt ustrengend Lëschte - ginn an Evaluatiounspanele gesicht, zesumme mat Critèren, déi de Bäitrag beurteelen, déi d'Fuerschung gemaach huet fir wichteg wëssenschaftlech Froen ze léisen, nei wëssenschaftlech Wëssen ze liwweren oder Innovatiounen unzeféieren an echt Fortschrëtter vun, engem bestëmmte Beräich.

An der Entwécklung vun engem Fuerschungsqualitéit an Exzellenz Bewäertungssystem méi op seng eegen Bedierfnesser ofgestëmmt, huet déi gréisste Finanzéierungsagentur vu China fir Basisfuerschung, d'National Natural Science Foundation of China (NSFC), systematesch Reforme gemaach zënter 2018 fir Verréckelung an der Wëssenschaft ze reflektéieren: global verännert. Wëssenschaftslandschaften, d'Wichtegkeet vun der Transdisziplinaritéit, d'Kombinatioun vun ugewandter a Basisfuerschung an d'Zesummespill tëscht Fuerschung an Innovatioun (Manfred Horvat, 2018), ewech vun der Bibliometrie op e System, deen d'lokal Relevanz vun der Fuerschung a China stäerkt (Zhang & Sivertsen, 2020). Et huet säi Peer review System fir Propositiounevaluatioun verbessert fir d'Kuriositéit-ugedriwwen disruptiv Fuerschung besser ze passen, verbrenne Probleemer un de Grenze vun der Fuerschung, exzellent Wëssenschaft applizéiert op wirtschaftlech a sozial Ufuerderungen, an transdisziplinär Fuerschung déi grouss Erausfuerderunge beschäftegt. Am Joer 2021 goufen 85% vun de Propositioune proposéiert an iwwerpréift mat dëse Kategorien. Viru kuerzem, am November 2022, gouf en zwee-Joer Pilotreformplang fir Wëssenschaft an Technologie Talent Evaluatioun ugekënnegt, an engagéiert aacht Ministèren, zwielef Fuerschungsinstituter, néng Universitéiten a sechs lokal Regierungen. Säin Zil ass d'Evaluatiounsindikatoren a Methoden fir Wëssenschaft an Technologie Talenter ze entdecken, déi a verschiddenen Deeler vum Innovatiounssystem engagéiert sinn.

Subregional Beispill: Australien an Neiséiland

Béid Australien an Neiséiland sinn de Moment op wichtegen Zäitpunkten. An Australien, lafend concurrent Rezensiounen vum Australian Research Council, Excellence in Research an Australien a Gold Open Access Verhandlunge presentéieren kumulativ eng Fënster vun der Geleeënheet (Ross, 2022).

No ëffentlecher Konsultatioun iwwer d'Zukunft vun der Wëssenschaftsfinanzéierung entwéckelt Neuseeland en neit systemesche Programm fir d'Zukunft vu sengem nationale Fuerschungs- an Innovatiounssystem. Béid Australien an Neuseeland hunn zu der Entwécklung vun engem Metriksystem fir hir Naturvölker Fuerschungsgruppen bäigedroen (CARE Prinzipien).

National Beispill: Indien

Den Department of Science and Technology's Center for Policy Research (DST-CPR) huet rezent Studien iwwer d'Fuerschungsbewäertung a seng Reform an Indien gemaach, Ateliere mat wichtegen Akteuren (national Finanzéierungsagenturen, Fuerschungsinstituter an Akademien), Interviewen an Ëmfroen. Et huet festgestallt datt, wärend Universitéiten a vill Institutiounen vun nationaler politescher Bedeitung (wéi d'Landwirtschaft) bal ausschliesslech op quantitativ Metriken konzentréieren, e puer Finanzéierungsagenturen an Institutiounen wéi Indian Institutes of Technology och méi qualitativ Moossnamen ugeholl hunn. Dës méi qualitativ Approche bei Top-Tier Institutiounen déngt scho fir méi Finanzéierungen op d'Fuerschung iwwer national Prioritéite ofzeleeden, obwuel et ze fréi ass ze soen ob et e quantifizéierbaren Effekt op d'Fuerschungsqualitéit an Impakt huet.

De primäre Benchmark fir Bewäertung ass Peer Review baséiert op Expert Comité Meenung, awer nëmmen nom initialen Duerchmusterung vun Uwendungen baséiert ganz op quantitativen Metriken. Fundamental Erausfuerderunge existéieren och mat dëse Comitée: de Mangel u Diversitéit a Verständnis vun oppene Wëssenschaftspraktiken, wéineg Berécksiichtegung vu gesellschaftlechen Impakt vun der Fuerschung, a schlecht Kapazitéit a Viraussetzung. Dës Problemer, a Methodologien fir d'Bewäertung méi allgemeng, si schlecht verstanen an et gëtt e Mangel u Richtlinnen a Literatur iwwer dëst Thema.

Trotzdem gëtt et e wuessende Bewosstsinn iwwer d'Noutwennegkeet fir d'Fuerschungsbewäertung ze reforméieren. Finanzéiert vun engem DORA Gemeinschaft Engagement Subventioun, huet d'Indian National Young Academy of Sciences mam Indian Institute of Science (IISc) an DST-CPR zesummegeschafft fir Weeër ze entdecken wéi d'Fuerschungsbewäertung verbessert ka ginn - hir Iwwerleeunge goufe mat wichtegen Akteuren gedeelt mat engem Vue fir en nationalt Gespréich iwwer d'Noutwennegkeet ze stimuléieren fir d'Fuerschungskultur vun Indien ze reforméieren an schlussendlech z'änneren, sou datt seng Fuerschung méi innovativ an / oder gesellschaftlech relevant ass. DST-CPR antizipéiert e Kader fir Fuerschungsexzellenz z'entwéckelen, deen an säin National Institutional Ranking Framework integréiert ka ginn.

Méi Informatiounen:

Battacharjee, S. 2022. Ass de Wee wéi Indien seng Fuerschung evaluéiert seng Aarbecht ze maachen? - D'Wire Science

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. a Koley, M. 2022. Fuerschung Bewäertung an Indien: Wat soll bleiwen, wat kéint besser sinn? DST-CPR, IISc.

National Beispill: Japan

Fuerschung Evaluatiounsprotokoller sinn héich devoluéiert a Japan: wärend et 'National Richtlinnen fir d'Evaluatioun vun R&D' ginn, ausgestallt vum Cabinet Office's Council for Science, Technology and Innovation, dem Ministère fir Educatioun, Kultur, Sport, Wëssenschaft an Technologie (MEXT) an aner. Ministèren hunn och hir eege Richtlinnen entwéckelt. Donieft hunn d'Universitéiten a Fuerschungsinstituter hir eege Fuerschungsevaluatiounssystemer fir d'Fuerschung a Fuerscher, déi - wéi a villen Deeler vun der Welt - mat der institutioneller Leeschtung a budgetärer Allocatioun verbonne sinn.

Et gi wuessend Bedenken iwwer Iwwerreliance op quantitativer Evaluatioun. Als Äntwert huet de Wëssenschaftsrot vu Japan virbereet eng Empfehlung iwwer d'Zukunft vun der Fuerschungsevaluatioun a Japan (2022). Schlussendlech solle Fuerschungsinteressen a Promotioun am Häerz vun der Fuerschungsevaluatioun sinn, an all Effort gemaach fir Middegkeet, Demotivatioun an exzessivem Drock op Fuerscher ze vermeiden.

Eng Ëmfro vum MEXT iwwer Evaluatiounsindikatoren huet festgestallt datt de JIF ee vu ville Indikatoren ass an als solch keen staarken Impakt an der japanescher Fuerschung hat, obwuel dëst Disziplin-ofhängeg ass: zum Beispill, JIF Notzung ass méi héich an de medizinesche Wëssenschaften - a manner traditionell Fuerschungsaktivitéiten, wéi oppen Donnéeën, si manner wahrscheinlech bewäert ze ginn.

Méi Informatioun: RECOMMENDATIOUN - Richtung Fuerschungsevaluatioun fir de Fortschrëtt vun der Wëssenschaft: Erausfuerderungen a Perspektiven fir Wënschlech Fuerschungsevaluatioun (scj.go.jp)

Als Ofschloss gëtt et e wuessende Momentum fir d'Reform vun der Fuerschungsevaluatioun an e puer Regiounen, Länner an Institutiounen. Beispiller, déi hei illustréiert sinn, enthalen national Reformen, Konsortien bauen oder Koalitioune vu wéi-minded Institutiounen, déi Ännerung sichen, d'Zilsetzung / Steierung vu spezifesche Secteuren an Interventiounen fir pervers Ureiz a Verhalen unzegoen.

Dëst ass nach net e kohärent an inklusiv globalt Gespréich, an och Praktiken an Abléck ginn net onbedéngt offen gedeelt. E puer GYA, IAP an ISC Memberen si scho proaktiv an dësem Raum a Méiglechkeete kéinten nëtzlech fonnt ginn fir hinnen ze hëllefen hir Léieren a gutt Praxis mateneen a mat der méi breeder Memberschaft ze deelen. De Start vum Global Observatory of Responsible Research Assessment (AGORRA) vum Research on Research Institute (RoRI) spéider am Joer 2023 wäert eng weider Plattform ubidden fir Léieren ze deelen, fir d'vergläichend Analyse vun nationalen an internationale Reformsystemer a fir déi zwee- Manéier Austausch an Testen vu gudden Iddien iwwer dëse Systemer.

Dëse Pabeier huet déi wichtegst Chauffeuren, Méiglechkeeten an Erausfuerderunge fir d'Reform vun der Fuerschungsevaluatioun festgeluecht an illustrativ Beispiller vu Verännerunge gesammelt, déi um globalen, regionalen, nationalen an institutionellen Niveau geschéien. Den Zweck vun dësem ass d'GYA, IAP an ISC an hir jeeweileg Memberen ze mobiliséieren, als wichteg Bezierker vum globalen Fuerschungs-Ökosystem.

Bauen op déi lescht Dekade vu wëssenschaftlecher Literatur a Plädoyeraarbecht, ginn et fënnef Haaptconclusiounen.

1. Den Imperativ fir d'Art a Weis wéi d'Fuerschungsindividuen, Institutiounen an d'Outpute bewäert ginn nei ze iwwerdenken ass kloer an dréngend. Fuerschungsintegritéit a Qualitéit erhalen, diversifizéierend, inklusiv an net-diskriminatoresch Wëssenschaft maximéieren, an d'Wëssenschaft fir d'global ëffentlech Wuel optimiséieren si grouss Chauffeuren, déi am Kontext vun enger séier verännerter Welt gesat ginn.

2. D'Aart a Weis wéi d'Fuerschung opgestallt, finanzéiert, geliwwert a kommunizéiert gëtt, entwéckelt sech am Tempo. Beweegt Richtung Missiounsorientéierter an transdisziplinärer Wëssenschaft, oppe Wëssenschaftskader, evoluéierend Modeller vu Peer Review, d'Benotzung vun AI a Maschinnléieren an de séieren Opstig vu soziale Medien änneren traditionell Weeër fir Fuerschung ze maachen an ze kommunizéieren, erfuerderen nei Denken iwwer Fuerschungsevaluatiounssystemer an d'Metriken a Peer review Prozesser déi et ënnersträichen. Méi, an dréngend, Fuerschung ass néideg fir dës Systemer zukünfteg ze beweisen.

3. Et gëtt en Imperativ fir méi equilibréiert Fuerschungsevaluatiounssystemer mat quantitativen a qualitativen Indikatoren déi verschidde Forme vu Fuerschungsoutput, Prozesser an Aktivitéite schätzen. Wéi och ëmmer, festzestellen datt qualitativ Peer review Prozesser op d'mannst esou wichteg sinn wéi d'Bibliometrie ass net einfach a gëtt weider komplizéiert duerch verschidden Deeler vun der Welt, déi a verschiddene Stadien an der Entwécklung vun hire Bewäertungssystemer sinn: an e puer sinn d'Debatten iwwer d'Reform vun der Fuerschungsevaluatioun zimlech fortgeschratt, an anerer sinn se nascent oder absent.

4. Eng konsequent an wirklech global an inklusiv Initiativ ass erfuerderlech fir Schlësselstakeholdergemeinschaften ze mobiliséieren fir kohärent Weeër ze entwéckelen an ëmzesetzen fir d'Fuerschung ze bewäerten an ze finanzéieren; léiere vuneneen an aus anere Secteuren (besonnesch d'Fuerschungsfinanzer an d'Entwécklungsagenturen). Kollektiv, inklusiv Handlung vis-à-vis vun transformativen Verännerungen wäert Interconnectedness erkennen anstatt Internationaliséierung oder Universaliséierung, dh Kontextempfindlech sinn, bewosst vu verschiddenen Erausfuerderunge vu verschiddenen Deeler vun der Welt an der räicher Heterogenitéit vum Fuerschungs-Ökosystem, a gläichzäiteg genuch suergen. Homogenitéit fir kompatibel Fuerschungs- a Finanzéierungssystemer a Fuerschermobilitéit z'erméiglechen, Divergenz a Fragmentatioun ze minimiséieren. En deelweis exklusiv Gespréich riskéiert déi, déi historesch ausgeschloss goufen, weider ze biaséieren an ze benodeelegen.

5. Ännerung ass op allen Niveauen erfuerderlech - global, regional, national an institutionell - well Metriken duerch de ganze Fuerschungs-Ökosystem kaskaden an all dës Niveauen matenee verbonne sinn. All Akteuren mussen hiren Deel als Partner spillen net Géigner - dorënner Finanzéierer, Universitéiten, Universitéit a Fuerschung Institut Associatiounen, intergouvernemental Organisatiounen (IGOs), Regierungen a Regierung Netzwierker, Akademien, Wëssenschaft Politik Décideuren, Fuerschung an Innovatioun Manager an eenzel Fuerscher. D'GYA, IAP an ISC Memberschaft, kollektiv, deckt e groussen Deel vun dëser räicher Landschaft (Figure 1, Appendix C).

Figur 1: Stakeholder Kaart relativ zu GYA, IAP an ISC Memberschaft (Klickt fir ze kucken)

D'Zouruffkraaft vun Organisatiounen wéi GYA, IAP an den ISC kann hëllefen eng Diversitéit vu Meenungen an Erfarungen iwwer vill vum Fuerschungs-Ökosystem zesummenzebréngen: Experimentéiere mat, léieren aus a bauen op existéierend an nei Initiativen. Kritesch kënne si mat de Schlësselakteuren verbannen fir d'Verännerung z'instigéieren - Regierungen, Fuerschungsfinanzer an Universitéiten, a vital global Bewegungen wéi DORA - fir ze hëllefen eng Architektur vun Akteuren ze mobiliséieren. Zesummen kënnen se als:

● Verdeedeger - Sensibiliséierung vu Fuerschungsbewäertungsdebatten, Entwécklungen a Reformen an der Unerkennung datt hir Memberen als (i) Mentoren a Superviser vun Juniorkollegen déngen, (ii) Leadere vun HEIs, (iii) Verwaltungsrot Membere vu Finanzéierungs- a Verëffentlechungsorganer an ( iv) Beroder fir Politiker;

● Innovateuren - verschidde Approche fir d'Bewäertung vun der Basis an ugewandter Fuerschung op inklusiv an innovativ Manéier z'erklären;

● Exemplare - hir eege institutionell Kultur z'änneren - hir Memberschaft, Auszeechnunge, Verëffentlechungs- a Konferenzpraktiken opfrëschen a mam Beispill virstellen;

● Evaluatoren - Kapitaliséierung op d'Roll vun de Memberen op institutionellen an individuellen Niveauen, deenen hir Entreprise d'Fuerscher, d'Fuerschung an d'Institutiounen bewäerten, an déi, déi Verëffentlechungs-, Redaktiouns- a Peer-Review Rollen hunn;

● Finanzéierer - zéien op d'Finanzéierungsagenturen, déi am ISC vertruede sinn, besonnesch, a Memberen déi grouss national an international Subventiounen verwalten a verdeelen;

● Kollaborateuren – ënnerstëtzen schonn etabléiert Campagnen fir Reform, zB DORA, der EU CoARA an dem oppene Wëssenschaftsengagement vun der UNESCO.

D'Auteuren vun dësem Pabeier encouragéieren d'GYA, IAP an den ISC, an Organisatiounen wéi si, op déi folgend Weeër ze engagéieren:

ACTION 1: Léieren a gutt Praxis deelen

Dëse Pabeier beliicht Beispiller vun Interventiounen an Innovatiounen aus der ganzer Welt. Raum fir Erfahrungen ze deelen an eng staark an inklusiv 'Koalitioun vun de Wëllen' ze bauen ass vital.

1.1: Gitt eng Plattform fir Memberen déi scho proaktiv sinn an dësem Raum fir hir Léieren ze deelen a strategesch Verbindungen ze bauen, besonnesch um nationalem Niveau. Benotzt dës Beispiller fir ze hëllefen ze populéieren D'Dashboard vum DORA [106] vu Léieren a gutt Praxis.

1.2: Ëmfro a Kaart Member-gefouert Entwécklungen an Fuerschung Evaluatioun Reform institutionell, national a regional Approche ze identifizéieren, a gutt Praxis ze fannen an deelen. Rufft déi, déi scho mat groussen nationalen an internationalen Initiativen gefouert hunn / engagéiert hunn fir Plädoyer a Léieren iwwer d'Memberschaft ze bauen.

ACTION 2: Gitt duerch Beispill

GYA, IAP an ISC Memberschaft deckt vill Deeler vum Fuerschungs-Ökosystem, a jidderee kann eng wichteg Roll spillen fir ze gestalten wéi den Erfolleg als Wëssenschaftler ausgesäit.

2.1: Iwwergank op méi progressiv Fuerschungsevaluatiounsmethodologien iwwer déi breet Memberschaft. Féierung mam Beispill an hëllefen d'Kultur vun der Fuerschung Evaluatioun duerch hir eege Memberschaft Philosophien a Praktiken änneren, iwwerdeems Zeechnen op Léieren vun DORA an der GRC. Akademien, als traditionell Elite Organisatiounen, hunn hei eng besonnesch Roll ze spillen - si sollen encouragéiert ginn hir eege Critèrë fir Walen a Selektioun ze verbreeden fir méi breet a méi plural Verständnis vun Fuerschung Qualitéit an Impakt ze reflektéieren, fir dëse Pluralismus ze reflektéieren (a mat et méi Inklusioun an Diversitéit) an hirer Memberschaft.

2.2: Regional Zesummenaarbecht a Leedung stimuléieren. Encouragéiert déi regional Netzwierker vu GYA Memberen an National Young Academies, IAP's regional Akademie Netzwierker an den ISC Regional Focal Points fir ze berécksiichtegen d'Emuléierung vum ALLEA Board Initiativ, op hiren eegene Kontext ugepasst.

ACTION 3: Baut strategesch Partnerschafte mat Schlësselwahlbezierker.

Déi dräi primär Akteuren verantwortlech fir d'Reform vun der Fuerschungsevaluatioun ze féieren sinn Regierungen, Fuerschungsfinanzer an Universitéiten. D'GYA, IAP an ISC kënne jidderee hëllefen d'Fuerschungsgemeinschaft an hir Efforten ze bréngen fir d'Trennungen ze reforméieren an ze iwwerbrécken déi aktuell existéieren.

3.1: Engagéiert mat der GRC Leedung fir Weeër ze entdecken fir zesummen ze schaffen - am Wesentlechen fir Memberen an hir jeeweileg GRC national Vertrieder ze stimuléieren fir ze entdecken wéi hir Fuerschungsgemeinschaften engagéiere kënnen.

3.2: Engagéiert mat globalen a regionalen Netzwierker vun Universitéiten, wéi d'International Association of Universities (IAU), fir nei Trainingsinstrumenter fir d'Fuerschungsgemeinschaft z'entwéckelen; benotzen HEI Féierung bannent der kollektiver Memberschaft vun der GYA, IAP an ISC als Affekote.

3.3: Connect Member Institutiounen an DORA Subventiounslänner (Argentinien, Australien, Brasilien, Kolumbien, Indien, Japan, Holland, Uganda a Venezuela) mat DORA Grant-Leads fir Iddien ze deelen a potenziell dës lokal Initiativen opzebauen.

3.4: Baut Bezéiunge mat féierende internationalen Entwécklungsagenturen, déi scho innovativ an impactful Strategien fir d'Fuerschungsevaluatioun an niddereg- a mëttleren Akommeslänner an am mannsten entwéckelte Länner ofsetzen.

3.5: Schafft mat der UNESCO fir ze hëllefen national Fuerschungsevaluatiounsverpflichtungen ënner hirer Form ze gestalten Recommandatioun op Open Science.

ACTION 4: Intellektuell Leedung iwwer d'Zukunft vun der Fuerschungsevaluatioun ubidden.

Konzentréieren op spezifesch an dréngend Erausfuerderunge fir Fuerschung Evaluatioun Reform ass imperativ. D'GYA, IAP an ISC, an international Netzwierker wéi si, kënnen op hir jeeweileg Konventiounsmuecht, d'intellektuell Gewiicht an den Afloss vun hire Memberen a Verbindunge mat Schlësselwahlbezierker zéien.

4.1: Co-convenéieren mat Schlësselwahlbezierker eng Serie vu Multistakeholder Diskussiounsfora oder 'Transformation Labs' fir d'Reform vun der Fuerschungsevaluatioun ze iwwerdenken an ëmzesetzen - Leadere vun den HEI an hir global (zB IAU an IARU) a regional Netzwierker (zB LERU an AAU [107) engagéieren ]), Fuerschungsfinanzer (inklusiv GRC national Vertrieder), international Entwécklungsagenturen a féierende Verëffentlecher, ënner anerem. Erhéije nei oder benotzt existent Ressourcen fir dës Aarbecht ze finanzéieren (kuckt den Anhang D fir e puer virleefeg Iddien).

4.2: Entwéckelt eng nei Etude iwwer e wichtegen Aspekt vun der zukünfteg Entwécklung vun der Fuerschungsevaluatioun wéi (1) den Impakt vun technologesche Fortschrëtter op Fuerschungsevaluatioun a Peer Review (inklusiv Benotzung a Mëssbrauch), a wéi dës sech an Zukunft kënne entwéckelen an ( 2) méi breet Reform vum Peer Review System (a punkto Transparenz, Offenheet, Kapazitéit, Unerkennung an Ausbildung). Béid Themen sinn integral fir d'Zouverlässegkeet vum Wëssen an d'Vertraue vun der Wëssenschaft.

Am Häerz vun all dësen Efforte sollten dräi fundamental Saachen sinn:

• Ausdehnen vun Evaluatiounskriterien fir wëssenschaftlech Fuerschung a Fuerscher iwwer traditionell akademesch Metriken fir verschidde Forme vu Fuerschungsausgang a Funktioun ze enthalen, dorënner quantitativ Critèren, déi de sozialen Impakt vun der Fuerschung moossen kënnen.

• Encouragéieren Leader vun HEIs a Fuerschungsfinanzer fir dës nei Evaluatiounskriterien als Moossname vu Fuerschungsqualitéit a Wäert ze förderen an ze förderen.

• Schafft mat dëse Leader un nei Forme vu Sensibiliséierung an Ausbildung fir zukünfteg Generatioune vu Fuerscher, fir se mat den néidege Fäegkeeten ze equipéieren fir effektiv mat Politiker, Public an aner Schlësselwahlbezierker ze kommunizéieren an ze engagéieren; a fir Diversitéit an Inklusioun an der Fuerschungsfirma ze förderen.

D'Auteuren vun dësem Pabeier schléissen datt Netzwierker wéi de GYA, IAP an ISC, zesumme mat an ënnerstëtzen aner Schlësselwahlbezierker, hëllefe kënnen eng kohärent, partizipativ, global Initiativ opzebauen fir Fuerschungsgemeinschaften, Universitéiten an aner HEI ronderëm dës Agenda ze mobiliséieren, an ze berücksichtegen. wéi nei Weeër fir d'Fuerschung ze bewäerten an ze finanzéieren operationaliséieren fir se méi effizient, fair, inklusiv an impactful ze maachen.

1. UNESCO. 2021. UNESCO Science Report: D'Course géint Zäit fir méi intelligent Entwécklung (Kapitel 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. D'Royal Society. (2012). Wëssenschaft als Open Enterprise. D'Royal Society Science Policy Center. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Hausstein, S. a Larivière, V. 2014. D'Benotzung vu Bibliometrie fir d'Fuerschung ze bewäerten: Méiglechkeeten, Aschränkungen an negativ Auswierkunge. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (ed.), Incentives and Performance, Cham, Springer, S. 121-139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi, Salman, R., Chan., AW and Glasziou, P. 2014. Biomedizinesch Fuerschung: Wäerter erhéijen, Offall reduzéieren. Lancet, Vol. 383, Nr 9912, S. 101-104.

5. Bol, T., de Vaan, M. a van de Rijt, A. 2018. De Matthew Effekt an der Wëssenschaftsfinanzéierung. Proceedings of the National Academy of Sciences of the United States of America, Vol. 115, Nr. 19, S. 4887–4890.

6. International Science Conseil. 2021. De Rekord vun der Wëssenschaft opzemaachen: Wëssenschaftlech Verëffentlechung ze maachen fir Wëssenschaft an der digitaler Ära. Paräis, Frankräich, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. an de Ricke, S. 2017. Denken mat Indicateuren. Entdeckt déi epistemesch Auswierkunge vun akademesche Leeschtungsindikatoren an de Liewenswëssenschaften. Fuerschung Bewäertung, Vol. 26, Nr. 3, S. 157–168.

8. Ansede, M. 2023. Ee vun de meescht zitéierte Wëssenschaftler vun der Welt, Rafael Luque, suspendéiert ouni Pai fir 13 Joer. El Paass. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Bekämpfung Predatory Akademesch Zäitschrëften a Konferenzen. Trieste, Italien, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM an Negra, D. eng global Ëmfro vun Fuerscher. Geléiert Verlag, Vol. 2022, Nr. 3, S. 4–516.

11. Collyer, TA 2019. 'Salami Slicing' hëlleft Carrièren awer schued d'Wëssenschaft. Natur Human Behaviour, Vol. 3, S. 1005-1006.

12. Abad-García, MF 2019. Plagiat a predatoresch Zäitschrëften: eng Bedrohung fir wëssenschaftlech Integritéit. Anales De Pediatría (Luxembourgish Edition), Vol. 90, Nr. 1, S. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI an Adegboyega, K. 2013. Randerscheinung Stipendium an de Kontext vun auslännesch bezuelt Verëffentlechung an Nigeria. Aktuelle Soziologie, Vol. 62, Nr. 5, S. 666–684.

14. Ordway, D.-M. 2021. Akademesch Zäitschrëften, Journalisten perpetuéieren falsch Informatioun beim Ëmgang mat Fuerschungsretraktiounen. D'Ressource vum Journalist. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. a Wilsdon, J. 2020. The Changing Roll of Funders in Responsible Research Assessment: Progress, Hindernisser an de Wee Virun. London, UK, Fuerschung iwwer Fuerschung Institut.

16. De Globale Norden bezitt sech allgemeng op industrialiséiert oder entwéckelt Wirtschaft, wéi definéiert vun de Vereenten Natiounen (2021), während de Globale Süden op Wirtschaften déi nei industrialiséiert sinn oder déi am Prozess vun der Industrialiséierung oder an der Entwécklung sinn, an déi dacks aktuell sinn. oder fréiere Sujete vum Kolonialismus.

17. InterAcademy Partnerschaft. Sessioun 12: Gewënn vu méi grousser Inklusioun: Relatioun tëscht Diversitéit an Akademescher Kultur. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Wëssenschaftlech Excellence Aarbechtsgrupp. Berlin, Däitschland, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Unleashing Science: Missiounen fir Nohaltegkeet liwweren. Paräis, Frankräich, ISC. doi: 10.24948/2021.04

20. ISC. 2022. En Auszuch aus Peter Gluckman seng Ried um Endless Frontier Symposium. Paräis, Frankräich. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. a Pinto, D. 2021. E Tool fir transdisziplinär Fuerschungsplanung an Evaluatioun. Integratioun an Ëmsetzung Abléck. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR an Zornes, DA 2016. Definéieren an beurteelen Fuerschungsqualitéit an engem transdisziplinäre Kontext. Fuerschung Bewäertung, Vol. 25, Nr. 1, S. 1-17.

23. Wilsdon, J. et al. 2015. D'Metric Tide: Bericht vun der Onofhängeger Iwwerpréiwung vun der Roll vun Metriken an der Fuerschung Assessment a Management. HEFCE.

24. UNESCO. UNESCO Recommandatioun iwwer Open Science. Paräis, Frankräich, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Eng UNESCO Quell huet verroden, datt dës Aarbecht den Ament am Laf ass, well d'Debatt vun nëmmen e puer dominéiert gëtt an net onbedéngt bei villen resonéiert: extensiv Dialog muss der Entwécklung vu Recommandatiounen virausgoen.

26. Barroga, E. 2020. Innovativ Strategien fir Peer review. Journal of Korean Medical Science, Vol. 35, Nr. 20, S. e138.

27. Woods, HB, et al. 2022. Innovations in Peer Review in scholarly publishing: a meta-summary. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB a Brumberg, J. 2022. Innovéierend Peer review, reconfiguring wëssenschaftlech Kommunikatioun: Eng analytesch Iwwersiicht vun lafend Peer review Innovatioun Aktivitéiten. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. a Wilsdon, J. 2022. Good Practice am Gebrauch vun Machine Learning & AI vun Fuerschung Finanzéierung Organisatiounen: Abléck aus engem Workshop Serie. London, UK, Fuerschung iwwer Fuerschung Institut. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. an Jones, E. 2020. Fuerschung 4.0 Fuerschung am Alter vun Automatisatioun. London, UK, DEMOS.

31. Baker, M. 2015. Smart Software Flecken statistesch Feeler an Psychologie Pabeier. Natur, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. D'Fuerscher benotzen AI fir Peer review ze analyséieren. Natur 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. and Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. AI-baséiert Zitatioun Evaluatiounsinstrumenter: gutt, schlecht oder ellen? Der Bibliomagiker. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. a Gipp, B. 2020. Academic Plagiarism Detection: A systematic literature review. ACM Computing Surveys, Vol. 52, Nr. 6, S. 1–42.

36. Quach, K. 2022. Verëffentleche benotzen AI fir schlecht Wëssenschaftler Doktordaten ze fänken. De Register. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R an Bockting, C. 2023. ChatGPT: fënnef Prioritéite fir Fuerschung. Natur, Vol. 614, S. 224–226.

38. Chawla, D. 2022. Sollt AI eng Roll bei der Bewäertung vun der Fuerschungsqualitéit hunn? Natur, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Kënschtlech Intelligenz wielt Subventiounen Rezensiounen a China. Natur, Vol. 569, S. 316–317.

40. Mike, T. 2022. Kann d'Qualitéit vun publizéierten akademeschen Zäitschrëftartikele mat Maschinnléiere bewäert ginn? Quantitative Science Studies, Vol. 3, Nr. 1, S. 208-226.

41. Chomsky, N., Roberts, I. an Watumull, J. 2023. Déi falsch Verspriechen vun ChatGPT. D'New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Clarivate. 2022. Fuerschung Assessment: Originen, Evolutioun, Resultater. Clarivate. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ an Zwitter, A. 2022. Kënschtlech Intelligenz Kriminalitéit: en Iwwerbléck iwwer béiswëlleg Notzung a Mëssbrauch vun AI. IEEE Access, Vol. 10, S. 77110–77122.

44. Castelvecchi, D. 2019. AI Pionéier: 'D'Gefore vu Mëssbrauch si ganz reell'. Natur, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Wëssenschaftler Perceptioun vun Fuerschung Impakt an Engagement duerch Interaktiounen op sozialen Medien Plattformen. Léieren, Medien an Technologie, doi: 10.1080/17439884.2022.2065298

46. Wouters, P., Zahedi, Z. an Costas, R. 2019. Social Media Metriken fir nei Fuerschung Evaluatioun. Glänzel, W., Moed, HF, Schmoch, U., Thelwall, M. (eds.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. an Stirling, A. 2020. Design Indicateuren fir opzemaachen Evaluatioun. Abléck aus Fuerschung Bewäertung. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. a Baul, J. 2022. Back to Basics. Halle, Däitschland, Global Young Academy.

49. Jong, L., Franssen, T. a Pinfield, S. 2021. Excellence am Research Ecosystem: A Literature Review. London, UK, Fuerschung iwwer Fuerschung Institut.

50. Hatch, A. and Curry, S. 2020. Fuerschungskultur: Änneren wéi mir d'Fuerschung bewäerten ass schwéier, awer net onméiglech. eLife, Vol. 9, p. e58654.

51. IAP. 2022. Bekämpfung Predatory Akademesch Zäitschrëften a Konferenzen. Trieste, Italien, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. a Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for Research Metrics. Natur, Vol. 520, S. 429–431.

53. Publons. 2018. Global Staat vun Peer Review. London, UK, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. an Trinquart, L. 2016. D'global Belaaschtung vun der Zäitschrëft Peer review an der biomedizinescher Literatur: staark Ungleichgewicht an der kollektiver Entreprise. PLoS ONE, Vol. 11, n° 11, p. e0166387.

55. Forrester, B. 2023. Fed up and burn out: 'quiet quitting' trefft d'Akademie. Natur, Vol. 615, S. 751–753.

56. Hatch, A. a Curry, S. 2020. Fuerschungskultur: änneren wéi mir d'Fuerschung bewäerten ass schwéier, awer net onméiglech. eLife, Vol. 9, p. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. and Dirnagi, U. 2020. Kong Prinzipien fir Fuerscher ze bewäerten: Fuerschungsintegritéit förderen. PLoS Biologie, Vol. 18, n° 7, p. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. and Kerridge, S. 2015. The Metric Tide: Bericht vun der Onofhängeger Iwwerpréiwung vun der Roll vu Metriken an der Fuerschung Assessment a Management. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. an Wilsdon, J. 2022. Beneficer der Metric Tide: Indicateuren, Infrastrukturen & Prioritéite fir UK Responsabel Fuerschung Assessment. London, UK, Fuerschung iwwer Fuerschung Institut.

60. Natur Redaktioun. 2022. Ënnerstëtzt Europa seng fett Visioun fir verantwortlech Fuerschungsbewäertung. Natur, Vol. 607, p. 636.

61. Deklaratioun iwwer Fuerschung Bewäertung (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. a Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for Research Metrics. Natur, Vol. 520, S. 429–431.

63. Curry, S., Gadd, E. an Wilsdon, J. 2022. Beneficer der Metric Tide: Indicateuren, Infrastrukturen & Prioritéite fir UK Responsabel Fuerschung Assessment. London, UK, Fuerschung iwwer Fuerschung Institut. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. San Francisco Deklaratioun iwwer Fuerschung Bewäertung. https://sfdora.org/read/

65. DORA. Tools fir d'Forschungsbewäertung virzebereeden. DORA. https://sfdora.org/project-tara/

66. DORA. DORA Community Engagement Grants: Academic Assessment Reform ënnerstëtzen https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Innormen. SCOPE Kader fir Fuerschung Evaluatioun. https://inorms.net/scope-framework-for-research-evaluation/

68. Innormen. SCOPE Kader. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Fuerschung Qualitéit Plus. International Entwécklung Fuerschung Center. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. an Grant, L. 2019. Ethesch Aktioun an Global Fuerschung: A Toolkit. Edinburgh, Schottland, Universitéit Edinburgh. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Theorie vun Ännerung an International Entwécklung: Kommunikatioun, Léieren, oder Rechenschaftspflicht? D'Asia Foundation. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. an Dias, SM 2021. Responsabel Fuerschung Assessment. Global Fuerschung Conseil. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. De Global Research Council. GRC Responsabel Fuerschung Assessment. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. an Wilsdon, J. 2020. D'Verännerung Roll vun de Funders an Responsabel Fuerschung Assessment. London, UK, Fuerschung iwwer Fuerschung Institut. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Global Fuerschung Rot. Responsabel Fuerschung Assessment Aarbechtsgrupp. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Wëssenschaftlech Excellence. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. a Williams, K. 2022. Fuerschung Assessment: Originen, Evolutioun, Resultater. Institut fir wëssenschaftlech Informatioun. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Ressource Bibliothéik. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. an Lakoduk, A. 2021. Reimagining Akademesch Carrière Assessment: Geschichte vun Innovatioun an änneren. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Koalitioun fir Fortschrëtter Fuerschung Assessment (CoARA). https://coara.eu/

81. CoARA. 2022. Accord iwwert Reform Fuerschung Bewäertung. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Natur Redaktioun. 2022. Ënnerstëtzt Europa seng fett Visioun fir verantwortlech Fuerschungsbewäertung. Natur, Vol. 607, p. 636.

83. Open an Universal Science. OPUS Home - Open and Universal Science (OPUS) Project. https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS Plënneren Forward zu enger méi responsabel Fuerschung Assessment. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Europäesche Fuerschungsrot. 2022. ERC Wëssenschaftleche Conseil entscheet Ännerunge fir d'Evaluatiounsformen a Prozesser fir d'2024 Appellen. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. All europäesch Akademien. 2022. ALLEA Erklärung iwwer Reforméiere Fuerschung Bewäertung bannent der Europäescher Akademien. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA an GYA. 2022. Gemeinsam Erklärung iwwer d'EU Conseil Conclusiounen iwwer Fuerschung Bewäertung an der Ëmsetzung vun Open Science. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. E Wee Richtung Multidimensional Akademesch Carrière - A LERU Kader fir d'Bewäertung vun Fuerscher. LERU, Leuven, Belsch. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Royal Societeit. Resumé fir Fuerscher. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Erzielen narrativ CVen déi richteg Geschicht? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. RICYT. Fuerscher no Beschäftegungssektor (FTE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Evaluéieren wëssenschaftlech Fuerschung Bewäertung. Zu enger Transformatioun vun der wëssenschaftlecher Fuerschung Bewäertung a Latäinamerika an der Karibik Serie vum Latäinamerikanesche Forum fir Fuerschung Assessment (FOLEC). CLACSO, Buenos Aires, Argentinien. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Zu enger Transformatioun vun Evaluatiounssystemer a Lateinamerika an der Karibik, Tools fir nei Evaluatiounspolitik ze förderen. Serie vum Latäinamerikanesche Forum fir Fuerschung Assessment (FOLEC). CLACSO, Buenos Aires, Argentinien. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Forme vun Fuerschung Assessment orientéiert op Entwécklung Problemer. Praktiken a Perspektiven Vun National Wëssenschaft an Technologie Organisatiounen a Héichschoulinstituter a Latäinamerika an der Karibik. FOLEC. CLACSO, Buenos Aires, Argentinien. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO ass de Conseil fir Sozialwëssenschaften an der Regioun an e féierende Champion fir sozial relevant a verantwortlech Wëssenschaft. De Latin American Forum on Research Assessment (FOLEC) ass e regionale Raum fir Debatt an Deele vu gudder Praxis, an entwéckelt regional Richtlinnen fir Fuerschung Bewäertung fir dës Prinzipien z'ënnerstëtzen. Béid bidden eng staark regional Leedung.

96. SGCI. Science Granting Councils Initiative (SGCI) a Sub-Sahara Afrika. https://sgciafrica.org/

97. SGCI. Tijssen, R. an Kraemer-Mbula, E. 2017. Politik kuerz: Perspektiven op Fuerschung excellence am Global South - Bewäertung, Iwwerwachung an Evaluatioun an Entwécklungslänner Kontexter. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- country-contexts.pdf

98. Tijssen, R. an Kraemer-Mbula, E. 2018. Fuerschung excellence an Afrika: Politiken, Perceptiounen a Leeschtung. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. an Kraemer-Mbula, E. 2018. Fuerschung excellence an Afrika: Politiken, Perceptiounen a Leeschtung. Science and Public Policy, Vol. 45 Nr 3, S. 392-403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Good Practice Guideline iwwer d'Qualitéit vu Fuerschungscompetitiounen. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. D'NRF organiséiert strategesch Versammlungen fir Fuerschungspartnerschaften an Afrika ze förderen - National Research Foundation

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR an Zornes, DA 2016. Definéieren a bewäerten Fuerschungsqualitéit an engem transdisziplinärem Kontext, Fuerschung Evaluatioun, Vol. 25, pp: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Science Technology and Innovation (STI) Metriken - Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. a Feinstein O. 2022. Fuerschung Qualitéit Plus (RQ +) - Evaluéieren Fuerschung anescht. Ottawa, International Development Research Center. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. International Academy fir Iwwerwachung an Evaluatioun

106. DORA. TARA Dashboard. https://sfdora.org/tara-landing-page/

107. IARU, International Association vun Fuerschung-intensiv Universitéiten; LERU, League of European Research Universities; AAU, African Association of Universities

Image vun Guillaume de Germain on Unsplash

Verëffentlechungsdatum: Mee 11, 2023

Auteuren: Karina Batthyány

erofgelueden

Komplette Rapport

Zesummenhang Aarbecht

View all

Zesummenhang Publikatiounen

View all

D'Zukunft vun der Fuerschung Evaluatioun: Eng Synthese vun aktuellen Debatten an Entwécklungen

erofgelueden

Zesummenhang Aarbecht

Zesummenhang Publikatiounen

Joresrapport 2024

Joresrapport 2024 - Regional Brennpunkt fir Lateinamerika an d'Karibik

"Digital" fir d'Wëssenschaft a Beräicher mat manner Ressourcen notzen

D'Zukunft vun der Fuerschung Evaluatioun: Eng Synthese vun aktuellen Debatten an Entwécklungen

erofgelueden

Deelt dës Publikatioun

Zesummenhang Aarbecht

Evaluéieren Wëssenschaft als global ëffentlech Gutt

Center fir Science Futures

Zukunft vun der wëssenschaftlecher Verëffentlechung

ISC Forum iwwer Publikatiounen a Fuerschungsbewäertung

Zesummenhang Publikatiounen

Joresrapport 2024

Joresrapport 2024 - Regional Brennpunkt fir Lateinamerika an d'Karibik

"Digital" fir d'Wëssenschaft a Beräicher mat manner Ressourcen notzen