Méthodologie d'évaluation des outils d'intelligence artificielle en médecine
IAforDoc évalue chaque outil d'intelligence artificielle selon deux dimensions complémentaires :
- l'Indice de Fiabilité Documentaire (IFD) : niveau de transparence, de preuve scientifique et de conformité réglementaire
- l'Utilité en pratique médicale (UPM) : capacité à être utilisé concrètement par un médecin dans sa pratique quotidienne
Cette double approche permet une évaluation à la fois rigoureuse et pragmatique.
Deux scores, deux dimensions
Indice de Fiabilité Documentaire (IFD)
Évalue la confiance que l'on peut accorder à un outil : preuves scientifiques, conformité réglementaire, sécurité des données et transparence sur l'IA utilisée.
Score de 0 à 100
Utilité en pratique médicale (UPM)
Évalue la capacité de l'outil à être utilisé concrètement en pratique clinique : accessibilité, intégration dans le flux de travail, gain de temps et pertinence au quotidien.
Échelle de 1 à 5 étoiles
Ces deux indicateurs sont complémentaires et ne mesurent pas la même chose.
Indice de Fiabilité Documentaire (IFD)
L'IFD n'évalue pas directement l'efficacité clinique d'un outil, mais le niveau de confiance que l'on peut lui accorder au regard de la documentation publiquement disponible.
Il ne constitue pas une validation clinique, ni une recommandation médicale, mais un indicateur éditorial permettant aux professionnels de santé d'identifier le degré de robustesse documentaire et réglementaire d'un outil.
Les 4 piliers du score IFD
1. Preuves & validation
2. Cadre réglementaire
3. Données & sécurité
4. Transparence IA
1. Preuves & validation
Ce pilier évalue la qualité et la clarté de la documentation scientifique disponible publiquement.
- Présence d'études cliniques ou comparatives
- Publications évaluées par les pairs
- Références scientifiques citées
- Certifications ou standards mentionnés
- Disponibilité d'un essai clinique
2. Cadre réglementaire & conformité
Ce pilier examine la clarté et la cohérence du positionnement réglementaire de l'outil.
- Déclaration éventuelle de statut de dispositif médical
- Marquage CE lorsque celui-ci est applicable
- Classe du dispositif médical le cas échéant
- Transparence réglementaire avancée (organisme notifié, certificat)
3. Données & sécurité
Ce pilier analyse les éléments publiquement accessibles concernant la protection des données.
- Conformité RGPD
- Documentation sécurité publiée
- Région d'hébergement des données
- Description des types de données traitées
4. Transparence IA
Ce pilier évalue la transparence concernant l'utilisation de l'intelligence artificielle.
- Niveau de risque AI Act renseigné et justifié
- Déclaration du caractère génératif de l'IA
- Information de l'utilisateur sur l'interaction avec l'IA
Échelle du score IFD
Disponibilité de la documentation : ce que mesure l'IFD
L'IFD évalue la transparence documentaire et réglementaire d'un outil — ce qu'il est possible de vérifier, et avec quel niveau de preuve. Il ne juge pas l'utilité clinique de l'outil (mesurée séparément par l'UPM) et ne préjuge pas de sa conformité réelle.
Le principe fondateur d'IAforDoc est l'évaluation à partir de la documentation accessible. Or certains documents officiels — rapports SOC 2, attestations ISO 27001, références de certificat CE, accords de traitement des données (DPA) — ne sont pas toujours publiés en accès libre : ils existent, mais ne sont communiqués que sur demande, via formulaire ou accord de confidentialité. Pour en rendre compte sans le trahir, chaque élément documentaire reçoit un statut de preuve :
Un statut « sur demande » n'est donc jamais traité comme une non-conformité ni comme un document manquant. Il traduit un fait neutre : l'information existe, mais sa vérifiabilité publique est moindre que celle d'un document ouvert. Sur un indice qui mesure précisément la transparence documentaire, cette nuance constitue la mesure elle-même, non une sanction.
Chaque score est daté (vérifié au JJ/MM/AAAA) et révisable : un éditeur peut à tout moment transmettre des pièces complémentaires. Le score est alors réévalué et sa date de vérification mise à jour, sans réécriture de l'historique des révisions antérieures.
Indépendance & évolution
Le système IFD est un modèle propriétaire. Les pondérations précises et les règles de calcul internes ne sont pas rendues publiques afin de préserver l'intégrité et l'indépendance du système.
La méthodologie peut évoluer afin d'améliorer la cohérence et la pertinence du score dans un environnement réglementaire et technologique en constante évolution.
Version méthodologique en vigueur : IFD-v3.1 — dernière mise à jour : 22 juillet 2026. Les analyses publiées conservent la version du barème en vigueur à leur date de publication ; l'historique des révisions de chaque fiche en fait état.
Utilité en pratique médicale (UPM)
L'UPM évalue la capacité d'un outil à être utilisé concrètement dans la pratique médicale quotidienne. Contrairement à l'IFD qui se concentre sur la documentation et la conformité, l'UPM mesure l'intérêt pratique réel pour le praticien.
Critères d'évaluation
- Accessibilité en France
- Facilité d'utilisation
- Intégration dans le flux de travail médical
- Gain de temps ou d'efficacité
- Pertinence clinique
Échelle de notation
L'UPM est attribuée par la rédaction d'IAforDoc sur la base d'une évaluation éditoriale indépendante. Elle ne constitue pas un avis médical ni une recommandation d'usage.
Pourquoi deux indicateurs ?
Un outil peut être très utile en pratique tout en présentant un niveau de transparence ou de conformité encore limité.
À l'inverse, un outil peut être très bien documenté mais peu utile au quotidien pour le praticien.
L'association de l'IFD et de l'UPM permet une lecture complète et nuancée de chaque outil.
Guide d'interprétation
Croisez les deux scores pour obtenir une lecture rapide du positionnement d'un outil.
✅Outil fiable et directement utilisable
⚠️Outil utile mais à utiliser avec prudence
📄Outil fiable mais peu utile en pratique
➖Intérêt limité
Révision et actualisation des analyses
Chaque analyse reflète l'état de la documentation publiquement accessible à sa date d'analyse. Cet état évolue : un éditeur publie un rapport d'audit, met en ligne un accord de sous-traitance, obtient un marquage CE, publie une étude clinique. L'analyse est alors révisée.
Le principe
IAforDoc n'interroge pas les éditeurs avant publication. L'évaluation porte exclusivement sur ce qui est vérifiable publiquement, par n'importe qui, à une date donnée.
Ce choix est délibéré. Il garantit la reproductibilité de l'indice : deux lecteurs consultant les mêmes sources au même moment doivent aboutir au même constat. Une évaluation qui dépendrait de la réactivité de chaque éditeur à répondre à des sollicitations privées ne mesurerait plus la transparence documentaire, mais la disponibilité commerciale.
Qui peut demander une révision
L'éditeur de l'outil concerné, un professionnel de santé utilisateur, ou tout lecteur constatant qu'une information publiée est devenue inexacte.
Comment
Par courriel à contact@iafordoc.com, en indiquant l'outil concerné, le point contesté ou complété, et les références permettant la vérification.
Ce qui se passe ensuite
| Élément transmis | Effet sur l'analyse |
|---|---|
| Document désormais publié en accès libre | Statut Vérifié, score réévalué, nouvelle révision datée |
| Document existant mais à accès restreint (formulaire, accord de confidentialité) | Statut Sur demande, score réévalué |
| Correction factuelle démontrée | Correction et révision datée |
| Appréciation éditoriale contestée | Examinée ; le score n'est pas modifié du seul fait de la contestation |
Un document communiqué à titre confidentiel n'est jamais reproduit sur le site. Son existence est mentionnée et prise en compte au statut Sur demande, conformément à l'échelle des statuts de preuve décrite plus haut.
Ce que la révision ne fait pas
- Elle ne réécrit pas l'historique : les révisions antérieures demeurent consultables sur la fiche de l'outil, avec le score figé qui était le leur à leur date de publication.
- Elle n'ouvre aucun droit de relecture ou de validation préalable d'une analyse.
- Elle n'ouvre aucun droit au retrait d'une analyse exacte.
- Elle ne donne lieu à aucune contrepartie financière, dans un sens comme dans l'autre.
Aucune analyse publiée sur IAforDoc n'est commanditée, relue ou financée par l'éditeur de l'outil concerné.
IAforDoc propose une évaluation indépendante visant à aider les professionnels de santé à mieux comprendre les outils d'IA disponibles et leur usage réel en pratique.
L'IFD et l'UPM sont des outils d'aide à la compréhension — ils ne remplacent ni l'évaluation clinique indépendante, ni l'analyse institutionnelle propre à chaque structure de soins.