Ce document est un guide de lecture qui récapitule les questions que l’on doit se poser pour faire une évaluation critique d’un résultat d’essai thérapeutique.
Le résultat est-il réel (statistiquement) et fiable (non biaisé) ?
La différence est-elle statistiquement significative ?
Est-il possible d’exclure une inflation du risque alpha liée à une répétition des tests ?
Le résultat avancé a-t-il été obtenu sur le critère de jugement principal à l’issu d’une seule comparaison statistique ?
N’y a-t-il pas eu de mesures multiples du critère du jugement (mesures répétées) ?
Le résultat avancé n’est-il pas issu d’une analyse en sous-groupe ?
Si des analyses intermédiaires ont été réalisés, une méthode de contrôle de l’inflation du risque alpha a-t-elle été utilisée ?
Existe-t-il un groupe contrôle ?
L’effet du traitement est-il déterminé par rapport à ce groupe contrôle ?
Est-il possible d’éliminer un biais de sélection ?
Les patients ont-ils été réparti de façon aléatoire entre les groupes de traitements ?
Est-ce que la méthode de randomisation garantie l’imprévisibilité du traitement ?
Est-ce que les groupes sont initialement comparables ?
Est-il possible d’éliminer un biais de réalisation ou de mesure ?
L’essai a-t-il été réalisé en double-aveugle ?
Si l’essai est en double-aveugle, la nature du traitement attribué à chaque patient est-elle cachée de façon adéquate ?
Si l’essai a été réalisé en ouvert, le critère de jugement est-il un critère « dur » ?
Les critères de jugement ont-ils été validés par une procédure centralisée et en aveugle ?
Est-ce que les arrêts de traitements, les déviations aux protocoles et les traitements concomitants ont été recueillis et sont convenablement documentés ?
Le recours aux traitements concomitants a-t-il été aussi fréquent dans tous les groupes ?
Les taux de déviation au protocole sont-ils similaires dans les deux groupes ?
Les taux d’arrêt du traitement de l’étude sont-ils similaires dans les deux groupes ?
L’évaluation du critère de jugement est-elle faite de la même façon quel que soit le traitement reçu ?
Le traitement est-il susceptible d’influencer sur la mesure du critère de jugement ?
Est-il possible d’éliminer un biais d’attrition ?
L’analyse a-t-elle été réalisée en intention de traiter (pour un essai de supériorité) ?
Le nombre de patients analysés est-il identique au nombre de patients randomisés ?
Qu’elle est la robustesse du résultat vis-à-vis de l’hypothèse du biais maximum ?
Est-ce qu’une méthode de remplacement des données manquantes a été utilisée ?
Ce résultat est-il issu d’une démarche hypothético-déductive ? Ce n’est pas un résultat post-hoc et tautologique.
L’hypothèse testée a-t-elle été formulée a priori ?
L’objectif de l’essai est-il clairement précisé dans l’introduction ?
Le résultat est-il confirmé par d’autres ? (La méta-analyse de ces essais est-elle non hétérogène ?)
Le résultat est-il cohérent avec les connaissances fondamentales (physiopathologique, études d’observation, etc.) ?,
Le résultat représente-t-il un bénéfice clinique intéressant en pratique et est-il représentatif des patients vus en pratique ?
Le critère de jugement est-il pertinent cliniquement et correspond-il à l’objectif thérapeutique du traitement ?
Le résultat de l’essai correspond-il à un effet suffisamment important au point de vue clinique ?
La précision de l’estimation est-elle suffisante pour éliminer un effet trop petit pour être cliniquement pertinent ?
La définition de la pathologie utilisée dans l’essai est-elle conforme aux critères diagnostics habituels ?
Les patients sont-ils représentatifs de ceux qui sont vus en pratique médicale courante ?
Y a-t-il eu une sélection excessive sur le sexe, l’âge, les comorbidités, etc ?
(À juger à partir de la définition des critères d’inclusion et d’exclusion et à
partir de la description de la population incluse)
L’effet a-t-il été déterminé par rapport à un comparateur adapté, placebo ou traitement de référence validé ?
Si l’essai est contre placebo, existe-t-il vraiment aucun traitement ayant fait la preuve de leur efficacité contre placebo ?
Si l’essai est contre traitement de référence, ce traitement a-t-il montré son efficacité dans des essais thérapeutiques ?
Dans un essai avec un traitement contrôle actif, ce traitement a-t-il été utilisé de façon optimale ?
Le traitement a-t-il été utilisé dans un contexte de soins similaires à celui de la pratique quotidienne ?
La balance bénéfice risque est acceptable ?