Des études montrent des risques critiques de sous-triage
Des évaluations contrôlées de la version médicale spécialisée d’un grand modèle linguistique ont révélé que les cas nécessitant des soins urgents étaient souvent sous-triés. Dans une étude, le système a sous-estimé la gravité d’environ la moitié des scénarios d’urgence simulés, recommandant des conseils de moindre gravité dans les situations où des soins médicaux immédiats seraient appropriés. Des chercheurs indépendants et des reportages dans les médias ont décrit des failles de sécurité associées, soulevant des inquiétudes quant au recours à ces outils pour le triage ou la prise de décision en cas d’urgence.
Les implications sont immédiates :
- Sécurité des patients : sous-estimer la gravité d’une urgence peut retarder les soins vitaux. Les patients utilisant des chatbots pour des conseils de première ligne peuvent être mal rassurés et retarder leur recherche d’aide.
- Volume et portée : des centaines de millions de personnes utilisent l’IA conversationnelle pour des questions de santé, de sorte que même un faible taux d’erreur affecte un grand nombre.
- Intégration et surveillance : la technologie est déployée rapidement dans les flux de travail cliniques et les produits destinés aux consommateurs, sans garde-fous réglementaires uniformes ni évaluation standardisée.
Les experts recommandent plusieurs mesures de protection pendant que les preuves et la surveillance rattrapent leur retard :
- Traitez les résultats de l’IA comme des décisions de tri informatives et non définitives.
- Intégrez des avertissements clairs et des invites d’escalade dans les outils destinés aux consommateurs pour encourager les soins d’urgence lorsque les symptômes sont graves ou incertains.
- Exiger des tests rigoureux, évalués par des pairs et axés sur les paramètres de sécurité avant un déploiement clinique à grande échelle.
Il reste possible que l’IA conversationnelle puisse faciliter les soins en toute sécurité si elle est étroitement limitée, validée et associée à la surveillance d’un clinicien. Pour l’instant, les cliniciens et les patients doivent être prudents quant à l’utilisation de ces systèmes comme substitut à une évaluation médicale rapide lorsque des symptômes urgents sont présents.