Une erreur que l’on rencontre souvent dans les rapport d’évaluation clinique est de considérer que le travail consiste à prouver la conformité des produits évalués. C’est malheureusement faux. L’objectif est, en vérité, d’évaluer si le produit est conforme, et d’identifier les éventuels points de non-conformité.
On en arrive à un sujet important : l’incertitude !
On aime rarement admettre notre incertitude lorsqu’il s’agit d’évaluer les risques ou les bénéfices liés à des dispositifs médicaux. Toutefois, cette incertitude est bien là, et mal la mesurée peut conduire à des erreurs de jugement !
C’est ainsi que, dans certains rapports d’évaluation clinique, on peut lire des conclusions du type : « le seuil d’acceptabilité est fixé à 90%, l’étude PMCF donne un taux à 100%, donc la performance est atteinte ». Le sujet de cet article consiste à comprendre que 100% (2/2) n’est pas égal à 100% (34/34) ou encore 100% (100/100).
Retour sur le principe d'échantillonnage
S’il s’agit d’un simple rappel, cela reste pourtant essentiel pour la suite !
Il faut se rappeler tout d’abord que, dans les essais cliniques, on travaille sur des échantillons de patients pris au hasard dans la population-cible, car il n’est tout simplement pas possible de faire des mesures sur l’entièreté de la population-cible.
Parce qu’un exemple vaut mieux qu’une longue explication, voici un exemple très simple pour illustrer notre propos :
Dans cet exemple, on considère que la population-cible est la France entière. Toutefois, pour faciliter les calculs, on considérera dans notre exemple qu’il n’y a que 10 citoyens en France.
Dans cet exemple, on constate que la moyenne d’âge de la population-cible est de 32.2 ans. Il s’agit d’une valeur exacte, car elle est mesurée sur l’ensemble de la population.
Si un essai clinique est réalisé sur un échantillon de population (pour l’exemple, on a choisi de se limiter à des échantillons de 5 personnes), on voit que l’estimation de la moyenne d’âge des Français, est de 31.4 ans à partir des données de l’échantillon 1 et 30.8 ans dans l’échantillon 2.
Cet exemple simple permet de comprendre que les valeurs que vous mesurez dans vos études cliniques ne sont pas les valeurs exactes, mais des estimations plus ou moins proches de la vraie valeur.
Incertitude et taille d'échantillon
Nous venons de voir que, dans un essai clinique, on ne mesure pas les vraies valeurs, mais des estimations qui dépendent des échantillons. Il existe donc une incertitude autour des mesures faites dans une étude clinique.
Le deuxième point important à comprendre est que cette incertitude est directement liée à la taille de l’échantillon. La précision de l’estimation augmente, en effet, avec la taille de l’échantillon.
Ce point est souvent abordé dans les rapports d’évaluation clinique. Par exemple, lorsqu’une étude clinique estime un taux de complication sur trop peu de patients, on retrouve un paragraphe dans la partie « limitations et incertitudes résiduelles », précisant que la taille de l’échantillon est associée à une incertitude de mesure. Malheureusement, dans beaucoup de rapports, cela s’arrête là, alors que dans la plupart de cas il est possible de quantifier cette incertitude.
Intervalle de confiance à 95% : qu'est-ce que c'est ?
L’incertitude des mesures faites à partir d’un échantillon de population est quantifiable et s’exprime comme l’intervalle de confiance à 95%.
L’intervalle de confiance peut s’exprimer pour des moyennes (exemple : âge, poids, score EQ5D, …) et pour des proportions (exemple : taux de complication).
Rassurez-vous, l’objectif de cet article n’est pas de vous assommer avec des formules
mathématiques ! Nous en faisons notre affaire 
Toutefois, cet article a pour objectif de vous présenter l’importance de quantifier l’intervalle de confiance à 95% dans vos études cliniques et de l’utiliser dans vos évaluations cliniques.
Pour cela, estimons l’intervalle de confiance à 95% pour trois calculs d’un taux de satisfaction égal à 100% :
- Situation 1 : taux de satisfaction estimé à 100% (2/2) : 15.81% – 100.00%
- Situation 2 : taux de satisfaction estimé à 100% (34/34) : 89.72% – 100.00%
- Situation 3 : taux de satisfaction estimé à 100% (100/100) : 96.38% – 100.00%
→ Comment interpréter ces valeurs ?
En simplifiant, dans la situation 1, on doit comprendre que la vraie valeur du taux de satisfaction est comprise entre 15.81% et 100.00%. Autrement dit, on ne sait pas grand-chose. Pour les puristes, il faudrait ajouter « au risque alpha de 5% », mais pour rester clair, nous n’irons pas sur ce terrain-là.
Autrement dit : si, dans votre évaluation clinique, vous avez fixé un seuil d’acceptabilité pour le taux de satisfaction à 80% :
- Il n’est pas possible de conclure dans la situation 1
- Il est possible de conclure que le taux de satisfaction est bien supérieur à 80% dans les situations 2 et 3. En effet, les limites inférieures de chaque intervalle de confiance à 95% (89.72% pour la situation 2 et 96.38% pour la situation 3) sont strictement supérieures au seuil fixé à 80%
En comprenant cela, on comprend alors qu’il est simplement impossible de conclure dans une évaluation clinique sans quantifier l’incertitude de mesure liée à l’échantillonnage. De même, la mesure d’incertitude est essentielle pour juger de l’acceptabilité d’un risque !
N’hésitez pas également à consulter le guide MDCG 2020-13, dans lequel, les évaluateurs doivent juger si les information relatives à la sécurité et aux performances sont quantitatives, ou uniquement qualitatives.
Pour ne pas tout confondre : différence avec écart-type et intervalle de fluctuation
L’article est déjà bien assez long, alors commençons par une vue schématique :
Le point à retenir, c’est que la mesure de l’écart-type, décrit la répartition des valeurs dans l’échantillon autour de la moyenne. Il n’a donc rien à voir avec l’incertitude des mesures faites dans un échantillon de population.
Illustrons le principe de l’écart-type avec un exemple :
Pour un même nombre de patients (5 cas dans l’exemple ci-contre), il est possible d’avoir la même valeur moyenne (25 dans l’exemple), pour des valeurs individuelles différentes (valeurs pour les patients dans les situations 1 et 2). Cela se traduit par des écart-types différents : plus important dans la situation 2, car les valeurs sont plus dispersées (globalement plus éloignées de la moyenne).
En résumé : l’écart-type d’un échantillon traduit la dispersion des valeurs autour de la moyenne dans l’échantillon, alors que l’intervalle de confiance quantifie l’incertitude de l’estimation faite dans l’échantillon. L’un ne remplace pas l’autre, donc les deux doivent être quantifiés !
Merci d’avoir lu ce nouvel article, nous espérons qu’il vous a intéressé et que cela vous aidera dans vos futurs projets !
N’hésitez pas à partager cet article sur les réseaux sociaux 
N’hésitez pas non plus à nous contacter si vous avez des questions concernant vos projets.
