Performance of Large Language Models in Automated Medical Literature Screening: A Systematic Review and Meta-Analysis.

Коллеги, в этом систематическом обзоре и мета-анализе оценили, насколько хорошо большие языковые модели справляются с автоматическим скринингом медицинской литературы. В анализ вошли 18 исследований, и результаты впечатляют: при скрининге заголовков и рефератов чувствительность составила 0,92, а специфичность — 0,94, а при оценке полных текстов оба показателя достигли 0,99. Использование подсказок с примерами или цепочкой рассуждений повышало чувствительность до 0,95 против 0,86, а нагрузка на исследователя сокращалась на 50–99% при ускорении работы до 10 раз. (Производительность больших языковых моделей при автоматизированном скрининге медицинской литературы: систематический обзор и мета-анализ)