Ας μιλήσουμε για την αξιολόγηση από ομοτίμους
Ας μιλήσουμε για την αξιολόγηση από ομοτίμους
Ακολουθούν τρία παραδείγματα που τονίζουν ορισμένους από τους περιορισμούς της αξιολόγησης από ομοτίμους
*του John Mandrola*
Η κρίση της επιστήμης ήταν πάντα αμφιλεγόμενη. Αλλά η συζήτηση παρέμενε μεταξύ των επιστημόνων.
Τα ψηφιακά και κοινωνικά μέσα και φυσικά, η πανδημία και η πολιτικοποίηση της επιστήμης, έχουν φέρει τη συζήτηση της αξιολόγησης από ομοτίμους στο φως της δημοσιότητας. Τόσο πολύ, που η αξιολόγηση από ομοτίμους είναι πλέον ένας κοινός τροποποιητής.
Οπως λέμε:
“Αυτή η δημοσίευση αξιολογημένη από κριτές ανέφερε…”
Ή,
Αυτή η προέκδοση, η οποία δεν έχει ακόμη αξιολογηθεί από ομοτίμους, βρήκε…”
Ωστόσο, κάτι τόσο σημαντικό, όσο η κρίση της επιστήμης, έχει κατά κάποιο τρόπο ξεφύγει από την εμπειρική μελέτη.
Μια συστηματική ανασκόπηση του Cochrane μόνο 28 μελετών διαπίστωσε ότι “λίγα εμπειρικά στοιχεία είναι διαθέσιμα για να υποστηρίξουν τη χρήση της συντακτικής αξιολόγησης από ομοτίμους ως μηχανισμού για τη διασφάλιση της ποιότητας της βιοϊατρικής έρευνας”.
Λοιπόν, δηλαδή μέχρι τον προηγούμενο μήνα.
Το επιστημονικό περιοδικό που ονομάζεται Proceedings of the National Academy of Science (PNAS για συντομία) δημοσίευσε ένα πραγματικό πείραμα για να διευθετήσει την “προκατάληψη κατάστασης” στην αξιολόγηση από ομοτίμους. Η μεροληψία κατάστασης είναι όταν οι εξέχοντες ερευνητές απολαμβάνουν πιο ευνοϊκή μεταχείριση από τους μη γνωστούς ερευνητές.
Οι συγγραφείς κάλεσαν περισσότερους από 3.300 ερευνητές να αναθεωρήσουν μια δημοσιονομική ερευνητική εργασία που γράφτηκε από κοινού από έναν εξέχοντα συγγραφέα (βραβευμένο με Νόμπελ) και έναν σχετικά άγνωστο συγγραφέα (έναν πρώιμης σταδιοδρομίας ερευνητικό συνεργάτη), σε 3 περιτπωσεις: αν οι κριτές έβλεπαν το όνομα του εξέχοντος συγγραφέα, μια ανώνυμη εκδοχή της μελέτης ή το όνομα του λιγότερο γνωστού συγγραφέα.
Κατέληξαν με 537 κριτικές. Η εικόνα λέει μια συγκλονιστική ιστορία. Θυμηθείτε, μιλάμε για την ΙΔΙΑ μελέτη.
Η αριστερή πλευρά εξετάζει την πτυχή της απόρριψης. Εδώ, το 65% των κριτικών συνιστούν απόρριψη εάν ο συγγραφέας ήταν ο κατώτερος ερευνητής (AL), το 48% απέρριψε μια ανώνυμη έκδοση έναντι μόνο 22%, εάν ο εξέχων ερευνητής ήταν ο συγγραφέας (AH).
Στη δεξιά πλευρά του σχήματος εξετάστε τις θετικές κριτικές. Οι συγγραφείς θεώρησαν έναν συνδυασμό μικρής αναθεώρησης ή αποδοχής ως “θετικό” και μπορείτε να δείτε ξεκάθαρα το αντίστροφο της σχέσης. 10% για τον κατώτερο ερευνητή, 24% για την ανώνυμη εργασία και ένα τεράστιο 59% για τον ανώτερο ερευνητή.
Τώρα θα πείτε, “έλα βρε Μανδρόλα, αυτή είναι μία μελέτη. Επίτηδες την επέλεξες. Η κριτική από ομοτίμους είναι υπέροχη”!
Επιτρέψτε μου να σας δείξω δύο ακόμη παραδείγματα.
Πρώτον, είναι από το ίδιο περιοδικό, PNAS, το 2014. Σε αυτό το πείραμα, οι ερευνητές χρησιμοποίησαν ένα σύνολο δεδομένων με περισσότερα από 1.000 χειρόγραφα που υποβλήθηκαν σε 3 ελίτ ιατρικά περιοδικά. Η ιδέα ήταν να αξιολογηθούν τα αποτελέσματα των παραπομπών για άρθρα που έλαβαν διαφορετικές αξιολογήσεις από τους εκδότες και τους ομοτίμους κριτές. Σε αυτό το σύνολο δεδομένων, 946 υποβολές απορρίφθηκαν και 62 έγιναν δεκτές. Από τις απορρίψεις, 757 εργασίες συνέχισαν να δημοσιεύονται.
Όπως θα περίμενε κανείς, οι εργασίες που αρχικά απορρίφθηκαν ή έλαβαν χαμηλότερες βαθμολογίες αξιολόγησης από ομοτίμους κατέληξαν με λιγότερες παραπομπές από εκείνες που πέρασαν από τη συγκέντρωση. Αλλά... Υπήρχαν πολλές αμφισβητήσιμες αποφάσεις.
“Κατά την εξέταση ολόκληρου του πληθυσμού των 808 τελικά δημοσιευμένων χειρογράφων, τα τρία περιοδικά μας απέρριψαν τα 14 άρθρα με τις περισσότερες αναφορές”.
Στην πραγματικότητα, 12 από αυτές τις 14 εργασίες που απορρίφθηκαν δεν στάλθηκαν καν σε κριτές. Λέμε ότι το γραφείο σύνταξης τις απέρριψε.
Κοιτάξτε στην άκρη δεξιά. Τα πιο σημαντικά έγγραφα απορρίφθηκαν αρχικά.
Εδώ είναι μια προσωπική ιστορία του πώς μια μεροληπτική αξιολόγηση από ομοτίμους επηρεάζει την ερμηνεία μιας μελέτης.
Μαζί με μια ερευνητική ομάδα στο Penn State, πραγματοποιήσαμε μια μετα-ανάλυση μελετών, όπου συγκρίνανε δύο τρόπους αξιολόγησης ασθενών που παρουσιάζουν ύποπτη στεφανιαία νόσο.
Ένας τρόπος ήταν με στεφανιαία αξονική αγγειογραφία (CTA). Αυτή ανιχνεύει ανατομικά μπλοκαρίσματα. Ο άλλος τρόπος ήταν με ένα λειτουργικό τεστ, όπως το stress test. Αυτό ανιχνεύει εάν η απόφραξη ασκεί πίεση στην καρδιά.
Υπήρχαν 13 μελέτες που συνέκριναν άμεσα αυτές τις τεχνικές. Μια μετα-ανάλυση ομαδοποιεί τα αποτελέσματα αυτών - η ιδέα του συνδυασμού (παρόμοιων) αλλά μικρότερων μελετών σε μια μεγάλη οδηγεί σε μεγαλύτερη ακρίβεια στην εκτίμηση.
Το απόλυτο κλειδί είναι οι μελέτες να είναι παρόμοιες.
Εάν διαβάσετε την εργασία μας στο σημαντικό περιοδικό JAMA-Internal Medicine, λέει ότι οι ασθενείς που αξιολογήθηκαν με οποιοδήποτε τεστ δεν είχαν διαφορά όσον αφορά μελλοντικό θάνατο ή καρδιακή νοσηλεία. Αλλά όσοι είχαν απεικόνιση CTA είχαν ελαφρώς μειωμένη πιθανότητα μελλοντικής καρδιακής προσβολής (MI). Η μελέτη μας αναφέρεται τώρα από τους υποστηρικτές της απεικόνισης CTA με βάση αυτό το μικρό σήμα.
Αλλά αυτό το εύρημα ήταν 100% ευαίσθητο στη συμπερίληψη μιας μελέτης - που ονομάζεται SCOT-HEART - στην οποία δεν αισθανόμασταν ότι ανήκε στην ανάλυση. Η αρχική μας εργασία δεν περιελάμβανε την SCOT-HEART, επειδή αυτή η δοκιμή συνέκρινε την CTA και το λειτουργικό stress test με το λειτουργικό τεστ μόνο. Δεν ήταν αρκετά παρόμοια με τις άλλες μελέτες — κατά την άποψή μας.
Μαντέψτε: οι κριτές δεν δέχτηκαν την απόφασή μας. Είχαμε την επιλογή να δημοσιεύσουμε τη μελέτη με την SCOT-HEART ή τίποτα.
Ναι, εξηγήσαμε το γεγονός ότι η SCOT-HEART δεν ανήκε στην ανάλυση και ότι με την εξαίρεσή της αφαιρέθηκε το σήμα μείωσης της MI στην ενότητα των αποτελεσμάτων και της συζήτησης, αλλά η περίληψη και τα κύρια ευρήματα περιλαμβάνουν το ευνοϊκό αποτέλεσμα.
Εδώ είναι τι γράψαμε — πολύ πιο κάτω, στην ενότητα της συζήτησης. Αυτό το μέρος σπάνια αναφέρεται.
Συμπέρασμα:
Το θέμα της εμφάνισης ελαττωμάτων στην αξιολόγηση από ομοτίμους δεν είναι για να υποστηρίξουμε ότι πρέπει να την καταργήσουμε.
Αντίθετα, θα πρέπει να κατανοήσουμε τους περιορισμούς της, να εξετάσουμε τρόπους για να τη βελτιώσουμε και να μην αποδεχόμαστε ποτέ τυφλά ένα εύρημα, μόνο και μόνο επειδή έχει περάσει από αξιολόγηση από ομοτίμους. Ομοίως, δεν πρέπει επίσης να αγνοούμε ευρήματα που δεν έχουν περάσει από αξιολόγηση από ομοτίμους.
Ο σκοπός του blog μας είναι να ανυψώσει το επίπεδο της κριτικής αξιολόγησης της ιατρικής επιστήμης. Η αξιολόγηση από ομοτίμους δεν πρέπει ποτέ να σταματά ή να επηρεάζει αδικαιολόγητα τη διαδικασία της σκέψης μας.