- 人工智能
- 深度学习
- 计算机视觉
- NLP
- 语音
【免费下载链接】models
Officially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.
本文以飞桨模型库社区模型alvaroalon2/biobert_chemical_ner的下载文档为主体,系统讲解该化学命名实体识别(Chemical NER)模型的文件组成、两种主流下载方式(直接下载与paddlenlpCLI 命令下载)以及基于AutoModel的程序化加载方法。读完本文,你将掌握在 PaddlePaddle/PaddleNLP 环境下获取并加载该模型权重、配置与词表的完整流程,可直接用于生物医学文本中的化学实体识别实践。
一、模型背景与任务定位
alvaroalon2/biobert_chemical_ner是飞桨模型库中由社区贡献的英文模型,其模型元信息记录在 info.yaml 中:
| 元信息项 | 取值 |
|---|---|
| 模型名称 | alvaroalon2/biobert_chemical_ner |
| 任务类型 | 自然语言处理 / Token 分类(Token Classification) |
| 语言 | 英文(English) |
| 发布方 | alvaroalon2 |
| 许可证 | Apache-2.0 |
| 来源仓库 | Hugging Face 同名模型,已转换为飞桨模型格式 |
根据 introduction_cn.ipynb 中的模型说明,该模型是BioBERT 模型在命名实体识别(NER)任务上的微调版本,微调语料为BC5CDR-chemicals 与 BC4CHEMD。这两个语料均属于生物医学领域化学命名实体识别常用的评测数据集,覆盖化学物质、药物等实体类型。模型的典型应用是构建 BioNER/BioNEN(生物医学命名实体识别/归一化)系统,用于从生物医学文献中自动抽取化学实体。
需要说明的是,该模型权重最初来源于 Hugging Face 仓库alvaroalon2/biobert_chemical_ner,由社区将其转换为飞桨(PaddlePaddle)模型格式并托管到飞桨模型库中,方便 PaddleNLP 用户直接使用。
二、模型文件组成与直接下载
该模型共包含 4 个核心文件,总大小约410.95MB,清单与下载地址见 download_cn.md:
| 文件名称 | 文件作用(依据 PaddleNLP 模型目录通用规范) |
|---|---|
model_config.json | 模型结构配置,记录网络层数、隐藏层维度、注意力头数等结构超参数 |
model_state.pdparams | 模型权重文件,即微调训练得到的全部参数 |
tokenizer_config.json | Tokenizer 配置,描述分词策略与特殊标记等参数 |
vocab.txt | 词表文件,即模型使用的词表(含特殊 token) |
各文件可直接通过以下地址下载(与 download_cn.md 中的下载表一致):
model_config.jsonmodel_state.pdparamstokenizer_config.jsonvocab.txt
从文件组成可以看出,这是一个标准的 PaddleNLP 预训练模型目录结构:权重文件(.pdparams)承载模型参数,两个 JSON 配置文件分别描述模型结构与分词器行为,vocab.txt则定义了模型的词表空间。下载完成后,将这 4 个文件放入同一目录(例如pretrained_models/alvaroalon2/biobert_chemical_ner/),即可被 PaddleNLP 的加载接口识别。
三、方式一:使用 paddlenlp CLI 命令下载
除了逐个下载文件,官方文档更推荐使用paddlenlp提供的 CLI 工具一键获取全部模型文件,步骤如下:
第一步:安装(升级)paddlenlp
pip install --upgrade paddlenlp第二步:执行下载命令
paddlenlp download --cache-dir ./pretrained_models alvaroalon2/biobert_chemical_ner命令要点说明:
paddlenlp download是 PaddleNLP 提供的模型下载子命令,按模型名从模型库拉取对应权重;--cache-dir ./pretrained_models指定本地缓存目录,模型文件会下载并组织到该目录下,目录结构通常与模型名对应;- 命令末尾的
alvaroalon2/biobert_chemical_ner即目标模型名,需要与模型库中的注册名称完全一致。
这种方式的优势是无需关心具体文件清单,一条命令即可完成model_config.json、model_state.pdparams、tokenizer_config.json、vocab.txt全部文件的获取,且通过--cache-dir显式管理缓存位置,便于后续加载与复用。
四、方式二:通过 AutoModel 程序化加载
在实际开发中,更常见的做法是不手动管理文件,而是直接通过 PaddleNLP 的AutoModel接口按模型名加载。官方 introduction_cn.ipynb 给出了完整示例:
import paddle from paddlenlp.transformers import AutoModel model = AutoModel.from_pretrained("alvaroalon2/biobert_chemical_ner") input_ids = paddle.randint(100, 200, shape=[1, 20]) print(model(input_ids))执行逻辑说明:
AutoModel.from_pretrained("alvaroalon2/biobert_chemical_ner")会按模型名自动定位模型文件:若本地缓存中已有该模型(如先前通过 CLI 下载到--cache-dir指定目录),则直接加载;否则会联网从模型库拉取权重与配置;- 加载成功后,模型即处于可用于前向推理的状态。示例中构造了一个
shape=[1, 20]的随机input_ids(取值区间 100~200)作为输入,print(model(input_ids))输出模型前向结果; - 该接口同时加载第二节中所述的配置与权重文件,无需用户手动拼接。
值得注意的是,AutoModel加载的是基础模型(Backbone)。由于该模型面向 Token 分类任务(见 info.yaml),在实际做化学实体识别时,通常会在其上叠加序列标注头,并在 BC5CDR-chemicals / BC4CHEMD 这类语料上进行微调或直接配合分类头使用。
五、使用前提与注意事项
- 运行环境:以上命令与代码均基于 PaddlePaddle + PaddleNLP 环境,请确保已安装对应版本的飞桨框架与
paddlenlp库,再执行pip install --upgrade paddlenlp获取最新版本; - 模型格式:该模型是从 Hugging Face 同名模型转换而来的飞桨格式,转换说明参见 introduction_cn.ipynb 的 Reference 部分,请勿直接混用非飞桨格式的权重文件;
- 语言与任务范围:模型为英文模型,微调语料聚焦生物医学化学实体,适用于英文生物医学文本中的化学物质/药物命名实体识别场景;
- 下载失败处理:如遇到下载问题,可在 PaddleNLP 官方仓库提交 Issue 寻求帮助(原下载文档中已有此说明);
- 目录管理:使用 CLI 下载时建议固定
--cache-dir路径,既便于AutoModel.from_pretrained复用本地缓存,也能避免重复下载。
六、相关资源导航
围绕该模型,当前仓库还提供了以下配套文件可供深入查阅:
- download_cn.md:中文下载说明(本文核心依据)
- download_en.md:英文下载说明
- info.yaml:模型元信息(任务类型、语言、许可证等)
- introduction_cn.ipynb:中文模型介绍与使用示例
- introduction_en.ipynb:英文模型介绍与使用示例
- 模型库使用指南:了解飞桨模型库中模型下载、Benchmark、在线体验等整体机制
- 仓库总览 README:飞桨产业级开源模型库的整体说明与社区模型定位
该模型属于飞桨模型库的社区模型(community)板块,与官方模型(official)、学术模型(research)共同构成完整生态。社区模型侧重对丰富场景与学术论文的覆盖,由飞桨生态开发者持续贡献,具体分工可参考 README.md 的主要内容表。
- 人工智能
- 深度学习
- 计算机视觉
- NLP
- 语音
【免费下载链接】models
Officially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.
相关推荐
PaddleNLP 社区模型 alvaroalon2/biobert_chemical_ner 下载与使用指南
PaddleNLP 社区模型 alvaroalon2/biobert_chemical_ner 下载与使用指南 本篇指南围绕飞桨官方模型库(models 仓库)
人工智能深度学习计算机视觉NLP语音PaddleNLP 社区模型 alvaroalon2/biobert_diseases_ner 下载与使用指南:基于 BioBERT 的疾病命名实体识别模型
PaddleNLP 社区模型 alvaroalon2/biobert_diseases_ner 下载与使用指南:基于 BioBERT 的疾病命名实体识别模型 本
人工智能深度学习计算机视觉NLP语音PaddleNLP 社区模型 dslim/bert-large-NER 下载与使用指南:CoNLL-2003 微调英文命名实体识别模型
PaddleNLP 社区模型 dslim/bert large NER 下载与使用指南:CoNLL 2003 微调英文命名实体识别模型 本指南面向需要将 dsl
人工智能深度学习计算机视觉NLP语音
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考