如何加载本地下载下来的BERT模型，pytorch踩坑！！

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

近期做实验频繁用到 BERT ，所以想着下载下来使用，结果各种问题，网上一搜也是简单一句： xxx.from_pretrained("改为自己的路径")

我只想说，大坑！！！

废话不多说：

1.下载模型文件：

不管你是从hugging-face还是哪里下载来的模型（pytorch版）文件夹，应该包含以下三个文件：

config.json
vocab.txt
pytorch_model.bin

具体都是什么内容，不做介绍，你也不需要知道

2.更改文件名！！(坑点1)

很多下载的模型文件夹里面上述三个文件名字可能会有不同，一定要注意！以清华OpenCLaP上下载下来的民事BERT为例，其中包含了三个文件对应的名字为：

bert_config.json 看到没有！！这个前面多了个 bert_ ,一定要改掉！ bert_config.json
vocab.txt
pytorch_model.bin

三个文件一定要与第一步中的结构一样，名字也必须一样

3.将文件放入自己的文件夹

这里我们在自己的工程目录里新建一个文件夹： bert_localpath ,将三个文件放入其中，最终结构如下：

bert_localpath

config.json

vocab.txt

pytorch_model.bin

4.加载（坑点2）

使用 .from_pretrained("xxxxx") 方法加载，本地加载bert需要修改两个地方，一是 tokenizer 部分，二是 model 部分：

step1、导包： from transformers import BertModel，BertTokenizer

step2、载入词表： tokenizer = BertTokenizer.from_pretrained("./bert_localpath/") 这里要注意！！除了你自己建的文件夹名外，后面一定要加个 / ，才能保证该方法找到你的 vocab.txt

step3、载入模型： bert = BertModel.from_pretrained("./bert_localpath") 然后，这个地方又不需要加上 /