Classifying Clinical Evidence Levels of Cancer Variants in Biomedical Literature Using Machine Learning and Large Language Models.
Résumé
Cette étude compare les performances de grands modèles linguistiques (LLMs tels que GPT-4.1-mini et Gemini-2.5-Flash) et d'algorithmes d'apprentissage automatique (arbres de décision et XGBoost) pour classer les publications biomédicales selon le système de niveaux de preuve CIViC. Les LLMs ont été évalués avec des stratégies de prompting zéro et few-shot, tandis que les modèles ML ont utilisé des représentations TF-IDF et d'embeddings de mots. XGBoost avec TF-IDF a obtenu la meilleure performance (micro-F1 = 0,83), surpassant les LLMs et les arbres de décision. Tous les modèles ont montré de meilleures performances sur les niveaux de preuve intermédiaires (B à D) et ont eu des difficultés avec les niveaux élevés (A) et inférentiels (E). Les résultats suggèrent que la classification des preuves au niveau de l'abstract est principalement guidée par des indices lexicaux explicites, avec un bénéfice limité des approches LLM autonomes.
Analyse
Cette recherche est cruciale pour l'oncologie de précision car elle vise à automatiser et à accélérer l'interprétation des variants génétiques en classifiant les niveaux de preuve clinique. Une classification rapide et fiable des preuves peut faciliter des décisions thérapeutiques plus éclairées et personnalisées pour les patients atteints de cancer. Bien que les LLMs n'aient pas encore surpassé les algorithmes d'apprentissage automatique traditionnels dans cette tâche spécifique, l'exploration continue de ces technologies est essentielle pour développer des outils d'aide à la décision clinique plus efficaces et évolutifs, réduisant ainsi la charge de travail manuelle et améliorant la précision du diagnostic et du traitement.