scispaCy 实战：PubMed 摘要实体识别、缩写识别与 UMLS 链接

这个实战解决什么问题？

当你已经有一批 PubMed 摘要，想快速知道里面反复出现哪些疾病、药物、基因、细胞类型或结局指标时，scispaCy 是一个合适的开源起点。它不能直接告诉你研究结论，但能把大量文本先整理成可检查的候选实体表。

这篇实战更适合有 Python 基础的人。如果目标只是快速读懂几篇论文，可以先用文献阅读或 Deep Research 工具；如果目标是批量文本挖掘、知识图谱原型或科研情报监测，scispaCy 更值得投入。

推荐的数据结构

不要只保存摘要文本。建议每条记录至少保留 PMID、标题、摘要、年份、期刊、DOI 和检索来源。后面做错误分析或回到原文时，这些字段会非常重要。

records = [
    {
        "pmid": "12345678",
        "title": "...",
        "abstract": "...",
        "year": 2026,
        "doi": "10.xxxx/xxxx"
    }
]

第一步：跑实体识别

先用小模型跑通流程，再考虑换更大的模型。正式项目里，模型版本、Python 版本和依赖版本都应该写进环境文件。

import spacy

nlp = spacy.load("en_core_sci_sm")

for item in records:
    text = item["title"] + "\n" + item["abstract"]
    doc = nlp(text)
    for ent in doc.ents:
        print(item["pmid"], ent.text, ent.start_char, ent.end_char)

第一轮结果通常会有边界问题，例如长疾病名只识别了一部分，或把实验方法误识别成概念。这个阶段的目标不是追求完美，而是找到主要错误类型。

第二步：加入缩写识别

生物医学文本里缩写非常多，同一个缩写在不同领域可能含义完全不同。scispaCy 的缩写识别可以帮助你把短写法和长写法关联起来，但仍要保留上下文。

from scispacy.abbreviation import AbbreviationDetector

nlp.add_pipe("abbreviation_detector")
doc = nlp("acute respiratory distress syndrome (ARDS) is associated with...")

for abrv in doc._.abbreviations:
    print(abrv.text, abrv._.long_form)

建议在结果表里同时保存 abbreviation、long_form、sentence 和 PMID。不要只保存展开后的词，否则后续很难判断模型为什么这样识别。

第三步：是否需要 UMLS 链接？

如果你的目标是统计“同一个医学概念”的出现频率，UMLS 链接会有帮助。比如同一种疾病有多个同义词、缩写或拼写形式，概念链接可以让它们聚合到候选标准概念。

但 UMLS 链接会增加许可证、资源下载、运行速度和误判成本。对于早期探索，先做实体识别和人工抽样；当你确认任务值得继续，再接入 UMLS 或 MeSH 标准化。

第四步：建立人工质控样本

医学 NLP 项目最容易出问题的地方，是把模型输出直接当事实。更稳妥的做法是每次随机抽取 50 到 100 条实体，由懂领域的人标注“正确、边界错误、类型错误、无意义、需要上下文”。

• 边界错误：例如只识别了“coronary syndrome”，漏掉 acute。
• 类型错误：把检测方法、数据库名或统计指标当成疾病或药物。
• 缩写误判：同一个缩写在不同研究方向含义不同。
• 上下文缺失：实体出现了，但和你的研究问题无关。

第五步：把结果用于科研问题，而不是炫技

scispaCy 的输出应该服务于具体问题：哪些疾病和药物在某个主题里高频出现？某个基因和哪些表型共同出现？系统综述候选摘要中，哪些结局指标最常见？如果没有这样的下游问题，实体表很快会变成另一堆噪音。

一个实用策略是把实体统计、年份、期刊和引用数据连起来：用 OpenAlex 或 Semantic Scholar 获取论文元数据，用 scispaCy 抽取摘要实体，再按年份和主题看变化。

适合和不适合的场景

适合：PubMed 摘要批量探索、医学主题词摸底、知识图谱原型、科研情报监测、系统综述前期辅助筛选。

不适合：直接做临床决策、替代人工纳排、从实体共现直接推因果关系、处理没有清洗的扫描 PDF 或中文病历。

站内下一步

如果你刚开始接触 scispaCy，可以先读 scispaCy 中文入门教程；如果你在选工具，可以看 生物医学 NLP 工具专题 和 scispaCy 工具评测。