

Discover more from Critical Thinking - The Newsletter
*των Tom Jefferson και Carl Heneghan*
Η συνάντηση ξεκίνησε με μια δίωρη παρουσίαση για το υλικό του FDA για το Relenza (θα συνοψιστεί στο επόμενο μέρος). Αν και ορισμένα μέλη είχαν jet-lag, η πραγματικότητα και ο αντίκτυπος του περιεχομένου των αρχείων φάνηκε στην ομάδα.
Τις επόμενες δύο ημέρες, συζητήσαμε πώς να αντιμετωπίσουμε μια ανασκόπηση αδημοσίευτου υλικού, δημιουργώντας ουσιαστικά μια εντελώς νέα μεθοδολογία. Το σενάριο της συνάντησης ήταν το New College. Αυτό έχει ένα κάστρο Norman mott και Bailey στους χώρους του και οι εξωτερικοί τοίχοι μιας από τις αίθουσες είναι ρωμαϊκοί. Αν αυτό ήταν το New College, πώς έμοιαζε το Old College;
Ο οικοδεσπότης μας Carl, τόνισε ότι η μέθοδος πρέπει να είναι αναπαραγώγιμη, δηλαδή ο καθένας θα πρέπει να μπορεί να ακολουθήσει αυτό που κάναμε και να αναπαράγει τα αποτελέσματά της. Ταυτόχρονα, θα πρέπει να ακολουθήσουμε σε γενικές γραμμές μια συστηματική μορφή αναθεώρησης.
Προσδιορίσαμε δύο βασικά στάδια της διαδικασίας. Το πρώτο στάδιο θα είναι περιγραφικό και το δεύτερο αναλυτικό.
Το περιγραφικό στάδιο θα αποτελείται από διάφορες φάσεις.
Προσδιορισμός όλων των κλινικών δοκιμών φαρμάκων (αυτές, εξ ορισμού, εξαιρούν τις μελέτες σε ζώα). Αυτό μπορεί να γίνει με αναζήτηση σε μητρώα δοκιμών, επικοινωνία και σάρωση ιστοτόπων φαρμακευτικών ή ρυθμιστικών φορέων και διασταυρώνοντας αναφορές δημοσιευμένων μελετών και περιλήψεων συνεδρίων. Αυτό λίγο-πολύ κάναμε μέχρι τώρα, αλλά το εννοιολογικά δύσκολο βήμα σε αυτή τη φάση ήταν να χωρίσει κανείς τις προσπάθειές του από δημοσιευμένες μελέτες, οι οποίες ήταν το λυχνάρι όλων των κριτικών μας για την προηγούμενη δεκαετία.
Υπήρχε ανάγκη να επισημοποιηθούν οι μέθοδοι αναζήτησης. Συμφωνήσαμε ότι το δεύτερο βήμα, μετά τον εντοπισμό όλων ή των περισσότερων μελετών, ήταν η δημιουργία ενός TOC (πίνακα περιεχομένων) παρόμοιου με αυτό που κάναμε, αλλά προσθέτοντας πού αναφέρεται κάθε δοκιμή στην τεκμηρίωση.
Λόγω του ζητήματος της επικύρωσης των νέων μεθόδων μας και της δυσπιστίας για τις αυτοματοποιημένες διαδικασίες, πραγματοποιήσαμε τις αναζητήσεις στα αρχεία pdf του ρυθμιστικού υλικού του FDA. Στη συνέχεια, συγκρίναμε την απόδοσή τους με την αναζήτηση με το χέρι ή την ανάγνωση και την καταγραφή τους στην πρώτη έκδοση του TOC.
Δεν περιμέναμε προβλήματα αναγνώρισης με έγγραφα του Word, αλλά ήμασταν σίγουροι ότι θα υπήρχαν προβλήματα με την Οπτική Αναγνώριση Χαρακτήρων (OCR) σε αρχεία pdf. Παρατηρήσαμε ότι μερικές φορές τα αρχεία που φαινόταν να μετατρέπονται και να αποθηκεύονται δεν είχαν γίνει και επανέρχονταν σε αρχεία που δεν έχουν μετατραπεί, καθιστώντας την αυτόματη αναζήτηση άχρηστη.
Ονομάσαμε αυτή την προσέγγιση "αναγνωριστικό δοκιμής εντοπισμού". Ο στόχος ήταν να κατευθύνει τους κριτές να συγκεντρώσουν όλες τις πληροφορίες από όλα τα έγγραφα για τη δοκιμή. Αποφασίσαμε να συμπεριλάβουμε μόνο εκείνες τις δοκιμές, για τις οποίες είχαμε μη συντομευμένες CSR (πχ. με διαδοχικά αριθμημένους αριθμούς σελίδων), παρόλο που μπορεί να αποτελούν μέρη των CSR (δηλαδή μόνο η ενότητα 1) και πληροφορίες σχετικά με αναφορές δοκιμών που θεωρήθηκαν “κεντρικές” (δηλ. αποδεικτικά στοιχεία πρώτης ή δεύτερης γραμμής στις ρυθμιστικές αρχές, για την υποστήριξη της αίτησης εγγραφής).
Η παρακάτω περίληψη συνοψίζει το περίγραμμα των μεθόδων στις οποίες συμφωνήσαμε:
“Περίληψη: Θα εξετάσουμε ρυθμιστικά και φαρμακευτικά μη δημοσιευμένα δεδομένα σχετικά με τις επιδράσεις των αναστολέων νευραμινιδάσης (NI) για τη γρίπη. Αποφασίσαμε να συγχωνεύσουμε δύο μακροχρόνιες κριτικές της Cochrane για ενήλικες και παιδιά και να συμπεριλάβουμε μόνο δεδομένα από μη δημοσιευμένες πηγές, επειδή οι προηγούμενες προσπάθειές μας εντόπισαν αποκλίσεις μεταξύ των δημοσιευμένων δοκιμών και των μη δημοσιευμένων αναφορών του κατασκευαστή (Αναφορές Κλινικών Μελετών – CSR). Οι αρχικές μας προσπάθειες να συνδυάσουμε τις δημοσιευμένες εκδόσεις και τις εκδόσεις CSR της ίδιας δοκιμής μέσω επαφής με τον κατασκευαστή των φαρμακευτικών προϊόντων απέτυχαν. Η επαφή με τους συγγραφείς της μελέτης επίσης απέτυχε, καθώς δεν μπόρεσαν να μας παράσχουν τα απαραίτητα δεδομένα και βρήκαμε στοιχεία σημαντικής μεροληψίας δημοσίευσης και δημιουργίας άρθρων - φαντασμάτων, υπονομεύοντας περαιτέρω την εμπιστοσύνη μας στα δημοσιευμένα δεδομένα.
Θα αναλάβουμε μια διαδικασία πολλαπλών φάσεων. Αρχικά, θα προσδιορίσουμε όλες τις δοκιμές των καταχωρισμένων NI μέσω αλληλογραφίας με τους κατασκευαστές και διασταύρωσης βιβλιογραφιών και παραπομπών σε όλες τις δοκιμές και ανασκοπήσεις των NI. Στη συνέχεια θα πραγματοποιήσουμε αναζητήσεις σε ρυθμιστικούς ιστοτόπους, για να εντοπίσουμε εκείνες τις δοκιμές που θεωρούνται βασικές για τις ρυθμιστικές υποβολές. Για αυτές και για οποιεσδήποτε άλλες μεγάλες δοκιμές φάσης ΙΙΙ (“συμπεριλαμβανόμενες δοκιμές”), θα ζητήσουμε πλήρεις CSR από τους κατασκευαστές και θα εντοπίσουμε τυχόν πρόσθετες πληροφορίες από ρυθμιστικές πηγές.
Από αυτό το υλικό, θα ανακατασκευάσουμε το υπόβαθρο και τις μεθόδους κάθε δοκιμής και θα αξιολογήσουμε την ακεραιότητα και την αξιοπιστία κάθε CSR και των συμπληρωματικών πληροφοριών. Θα δώσουμε ιδιαίτερη προσοχή στους ορισμούς των αποτελεσμάτων, τον αριθμό και το βάρος των κέντρων, τη συνέπεια των παρονομαστών σε όλα τα στάδια της δοκιμής και τις ασυμφωνίες μεταξύ πρωτοκόλλου και της πλήρης CSR. Θα αξιολογήσουμε επίσης την ποιότητα και την αξιοπιστία του δοκιμαστικού προγράμματος κάθε φαρμάκου, δοκιμάζοντας την παρουσία μιας λίστας μεροληψιών, που έχουν περιγραφεί στην αυξανόμενη βιβλιογραφία, σχετικά με το θέμα της μεροληψίας αναφοράς. Για παράδειγμα, η παρουσία και ο αξιοσημείωτος αντίκτυπος της μεροληψίας δημοσίευσης έχουν περιγραφεί προηγουμένως στις αξιολογήσεις μας. Μόνο εάν και όταν είμαστε ικανοποιημένοι ότι τα δεδομένα των CSR αποτελούν αξιόπιστη αντανάκλαση της διεξαγωγής κάθε δοκιμής, θα διεξάγουμε ποσοτική ανάλυση των δεδομένων και θα βγάλουμε τα κατάλληλα συμπεράσματα”.
Ήμασταν επίσης απασχολημένοι με τη σύνταξη μιας επιστολής για τους εκδότες του JAMA και του Lancet, ζητώντας από τον αντίστοιχο συντάκτη να διερευνήσει την ακεραιότητα των εκδόσεων των Treanor και Nicholson, των μόνων από τις δέκα δοκιμές του Kaiser που είχαν δημοσιευτεί. Θα το στείλαμε στον αρχισυντάκτη του BMJ, Fi Godlee, ο οποίος θα το προωθούσε.
Μέχρι το τέλος της πρώτης μέρας, ο Tom Clarke του Channel 4 εμφανίστηκε και έτρεξε με την ιστορία εκείνο το βράδυ.
“Σε μια δήλωση σήμερα, η Roche είπε στο Channel 4 News ότι είχε ήδη παράσχει 3.200 σελίδες δεδομένων στους επιστήμονες της Cochrane. “Η Roche θα εξετάσει το ενδεχόμενο να παράσχει πρόσθετες πληροφορίες, μόνο όταν ο Όμιλος Cochrane μας παράσχει το λεπτομερές σχέδιο ανάλυσης για επανεξέταση από τους επιστήμονες και τους γιατρούς μας”.
Απαντώντας σε ερωτήσεις σχετικά με σοβαρά ανεπιθύμητα συμβάντα που εμφανίζονται στα δεδομένα των δοκιμών, αλλά λείπουν από αναφορές που έχουν δημοσιοποιηθεί, η εταιρεία είπε: “Είναι πιθανό ότι οι συντάκτες της δημοσίευσης χρησιμοποίησαν τη δική τους ιατρική κρίση, αφού εξέτασαν λεπτομερώς την υπόθεση και κατέληξαν στο τη δήλωσή τους ότι δεν υπήρξαν σοβαρές ανεπιθύμητες ενέργειες που να σχετίζονται με τα φάρμακα.
Οι διεθνείς ρυθμιστικές αρχές φαρμάκων, που εγκρίνουν φάρμακα όπως το Tamiflu, θα έπρεπε να έχουν πρόσβαση σε όλα τα δεδομένα κλινικών δοκιμών για το Tamiflu – συμπεριλαμβανομένων των αναφορών για τυχόν σοβαρές ανεπιθύμητες ενέργειες”.
Ο μικρός όγκος δεδομένων για το Tamiflu που είχε διαθέσει η Roche φάνηκε να εγείρει σοβαρά ερωτήματα σχετικά με τις δημοσιεύσεις. Ο Τομ δεν παρέλειψε τίποτα στην παρουσίασή του για τις ασυνέπειες.