Google and Stanford University released a new pre-trained model called ELECTRA

中文说明 | English

本项目基于谷歌&斯坦福大学官方的ELECTRA：https://github.com/google-research/electra

其他相关资源：

• 中文MacBERT预训练模型：https://github.com/ymcui/MacBERT
• 中文BERT-wwm预训练模型：https://github.com/ymcui/Chinese-BERT-wwm
• 中文XLNet预训练模型：https://github.com/ymcui/Chinese-XLNet
• 知识蒸馏工具TextBrewer：https://github.com/airaria/TextBrewer

查看更多哈工大讯飞联合实验室（HFL）发布的资源：https://github.com/ymcui/HFL-Anthology

新闻

2021/7/21 由哈工大SCIR多位学者撰写的《自然语言处理：基于预训练模型的方法》已出版，欢迎大家选购，也可参与我们的赠书活动。

2020/12/13 基于大规模法律文书数据，我们训练了面向司法领域的中文ELECTRA系列模型，查看模型下载，司法任务效果。

2020/10/22 ELECTRA-180g已发布，增加了CommonCrawl的高质量数据，查看模型下载。

2020/9/15 我们的论文"Revisiting Pre-Trained Models for Chinese Natural Language Processing"被Findings of EMNLP录用为长文。

2020/8/27 哈工大讯飞联合实验室在通用自然语言理解评测GLUE中荣登榜首，查看GLUE榜单，新闻。

内容导引

简介

ELECTRA提出了一套新的预训练框架，其中包括两个部分：Generator和Discriminator。

• Generator: 一个小的MLM，在[MASK]的位置预测原来的词。Generator将用来把输入文本做部分词的替换。
• Discriminator: 判断输入句子中的每个词是否被替换，即使用Replaced Token Detection (RTD)预训练任务，取代了BERT原始的Masked Language Model (MLM)。需要注意的是这里并没有使用Next Sentence Prediction (NSP)任务。

在预训练阶段结束之后，我们只使用Discriminator作为下游任务精调的基模型。

更详细的内容请查阅ELECTRA论文：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

模型下载

本目录中包含以下模型，目前仅提供TensorFlow版本权重。

• ELECTRA-large, Chinese: 24-layer, 1024-hidden, 16-heads, 324M parameters
• ELECTRA-base, Chinese: 12-layer, 768-hidden, 12-heads, 102M parameters
• ELECTRA-small-ex, Chinese: 24-layer, 256-hidden, 4-heads, 25M parameters
• ELECTRA-small, Chinese: 12-layer, 256-hidden, 4-heads, 12M parameters

大语料版（新版，180G数据）

基础版（原版，20G数据）

司法领域版（new）

PyTorch/TF2版本

如需PyTorch版本，请自行通过 🤗 Transformers提供的转换脚本convert_electra_original_tf_checkpoint_to_pytorch.py进行转换。如需配置文件可进入到本目录下的config文件夹中查找。

python transformers/src/transformers/convert_electra_original_tf_checkpoint_to_pytorch.py \
--tf_checkpoint_path ./path-to-large-model/ \
--config_file ./path-to-large-model/discriminator.json \
--pytorch_dump_path ./path-to-output/model.bin \
--discriminator_or_generator discriminator

或者通过huggingface官网直接下载PyTorch版权重：https://huggingface.co/hfl

方法：点击任意需要下载的model → 拉到最下方点击"List all files in model" → 在弹出的小框中下载bin和json文件。

使用须知

中国大陆境内建议使用讯飞云下载点，境外用户建议使用谷歌下载点。 以TensorFlow版ELECTRA-small, Chinese为例，下载完毕后对zip文件进行解压得到如下文件。

chinese_electra_small_L-12_H-256_A-4.zip
    |- electra_small.data-00000-of-00001    # 模型权重
    |- electra_small.meta                   # 模型meta信息
    |- electra_small.index                  # 模型index信息
    |- vocab.txt                            # 词表
    |- discriminator.json                   # 配置文件：discriminator（若没有可从本repo中的config目录获取）
    |- generator.json                       # 配置文件：generator（若没有可从本repo中的config目录获取）

训练细节

我们采用了大规模中文维基以及通用文本训练了ELECTRA模型，总token数达到5.4B，与RoBERTa-wwm-ext系列模型一致。词表方面沿用了谷歌原版BERT的WordPiece词表，包含21,128个token。其他细节和超参数如下（未提及的参数保持默认）：

• ELECTRA-large: 24层，隐层1024，16个注意力头，学习率1e-4，batch96，最大长度512，训练2M步
• ELECTRA-base: 12层，隐层768，12个注意力头，学习率2e-4，batch256，最大长度512，训练1M步
• ELECTRA-small-ex: 24层，隐层256，4个注意力头，学习率5e-4，batch384，最大长度512，训练2M步
• ELECTRA-small: 12层，隐层256，4个注意力头，学习率5e-4，batch1024，最大长度512，训练1M步

快速加载

使用Huggingface-Transformers

Huggingface-Transformers 2.8.0版本已正式支持ELECTRA模型，可通过如下命令调用。

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModel.from_pretrained(MODEL_NAME) 

其中MODEL_NAME对应列表如下：

司法领域版本：

使用PaddleHub

依托PaddleHub，我们只需一行代码即可完成模型下载安装，十余行代码即可完成文本分类、序列标注、阅读理解等任务。

import paddlehub as hub
module = hub.Module(name=MODULE_NAME)

其中MODULE_NAME对应列表如下：

基线系统效果

我们将ELECTRA-small/base与BERT-base、BERT-wwm、BERT-wwm-ext、RoBERTa-wwm-ext、RBT3进行了效果对比，包括以下六个任务：

• CMRC 2018 (Cui et al., 2019)：篇章片段抽取型阅读理解（简体中文）
• DRCD (Shao et al., 2018)：篇章片段抽取型阅读理解（繁体中文）
• XNLI (Conneau et al., 2018)：自然语言推断
• ChnSentiCorp：情感分析
• LCQMC (Liu et al., 2018)：句对匹配
• BQ Corpus (Chen et al., 2018)：句对匹配

对于ELECTRA-small/base模型，我们使用原论文默认的3e-4和1e-4的学习率。 需要注意的是，我们没有针对任何任务进行参数精调，所以通过调整学习率等超参数可能获得进一步性能提升。 为了保证结果的可靠性，对于同一模型，我们使用不同随机种子训练10遍，汇报模型性能的最大值和平均值（括号内为平均值）。

简体中文阅读理解：CMRC 2018

CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据。 根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。 评价指标为：EM / F1

繁体中文阅读理解：DRCD

DRCD数据集由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。 评价指标为：EM / F1

自然语言推断：XNLI

在自然语言推断任务中，我们采用了XNLI数据，需要将文本分成三个类别：entailment，neutral，contradictory。 评价指标为：Accuracy

情感分析：ChnSentiCorp

在情感分析任务中，二分类的情感分类数据集ChnSentiCorp。 评价指标为：Accuracy

句对分类：LCQMC

以下两个数据集均需要将一个句对进行分类，判断两个句子的语义是否相同（二分类任务）。

LCQMC由哈工大深圳研究生院智能计算研究中心发布。 评价指标为：Accuracy

句对分类：BQ Corpus

BQ Corpus由哈工大深圳研究生院智能计算研究中心发布，是面向银行领域的数据集。 评价指标为：Accuracy

司法任务效果

我们使用CAIL 2018司法评测的罪名预测数据对司法ELECTRA进行了测试。small/base/large学习率分别为：5e-4/3e-4/1e-4。 评价指标为：Accuracy

使用方法

用户可以基于已发布的上述中文ELECTRA预训练模型进行下游任务精调。 在这里我们只介绍最基本的用法，更详细的用法请参考ELECTRA官方介绍。

本例中，我们使用ELECTRA-small模型在CMRC 2018任务上进行精调，相关步骤如下。假设，

• data-dir：工作根目录，可按实际情况设置。
• model-name：模型名称，本例中为electra-small。
• task-name：任务名称，本例中为cmrc2018。本目录中的代码已适配了以上六个中文任务，task-name分别为cmrc2018，drcd，xnli，chnsenticorp，lcqmc，bqcorpus。

第一步：下载预训练模型并解压

在模型下载章节中，下载ELECTRA-small模型，并解压至${data-dir}/models/${model-name}。 该目录下应包含electra_model.*，vocab.txt，checkpoint，共计5个文件。

第二步：准备任务数据

下载CMRC 2018训练集和开发集，并重命名为train.json和dev.json。 将两个文件放到${data-dir}/finetuning_data/${task-name}。

第三步：运行训练命令

python run_finetuning.py \
    --data-dir ${data-dir} \
    --model-name ${model-name} \
    --hparams params_cmrc2018.json

其中data-dir和model-name在上面已经介绍。hparams是一个JSON词典，在本例中的params_cmrc2018.json包含了精调相关超参数，例如：

{
    "task_names": ["cmrc2018"],
    "max_seq_length": 512,
    "vocab_size": 21128,
    "model_size": "small",
    "do_train": true,
    "do_eval": true,
    "write_test_outputs": true,
    "num_train_epochs": 2,
    "learning_rate": 3e-4,
    "train_batch_size": 32,
    "eval_batch_size": 32,
}

在上述JSON文件中，我们只列举了最重要的一些参数，完整参数列表请查阅configure_finetuning.py。

运行完毕后，

1. 对于阅读理解任务，生成的预测JSON数据cmrc2018_dev_preds.json保存在${data-dir}/results/${task-name}_qa/。可以调用外部评测脚本来得到最终评测结果，例如：python cmrc2018_drcd_evaluate.py dev.json cmrc2018_dev_preds.json
2. 对于分类任务，相关accuracy信息会直接打印在屏幕，例如：xnli: accuracy: 72.5 - loss: 0.67

FAQ

Q: 在下游任务精调的时候ELECTRA模型的学习率怎么设置？
A: 我们建议使用原论文使用的学习率作为初始基线（small是3e-4，base是1e-4）然后适当增减学习率进行调试。 需要注意的是，相比BERT、RoBERTa一类的模型来说ELECTRA的学习率要相对大一些。

Q: 有没有PyTorch版权重？
A: 有，模型下载。

Q: 预训练用的数据能共享一下吗？
A: 很遗憾，不可以。

Q: 未来计划？
A: 敬请关注。

引用

如果本目录中的内容对你的研究工作有所帮助，欢迎在论文中引用下述技术报告。

• https://arxiv.org/abs/2004.13922

@inproceedings{cui-etal-2020-revisiting,
    title = "Revisiting Pre-Trained Models for {C}hinese Natural Language Processing",
    author = "Cui, Yiming  and
      Che, Wanxiang  and
      Liu, Ting  and
      Qin, Bing  and
      Wang, Shijin  and
      Hu, Guoping",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.findings-emnlp.58",
    pages = "657--668",
}

关注我们

欢迎关注哈工大讯飞联合实验室官方微信公众号，了解最新的技术动态。

问题反馈

Before you submit an issue:

• You are advised to read FAQ first before you submit an issue.
• Repetitive and irrelevant issues will be ignored and closed by [stable-bot](stale · GitHub Marketplace). Thank you for your understanding and support.
• We cannot acommodate EVERY request, and thus please bare in mind that there is no guarantee that your request will be met.
• Always be polite when you submit an issue.