BigBird模型汇总¶
下表汇总介绍了目前PaddleNLP支持的BigBird模型对应预训练权重。 关于模型的具体细节可以参考对应链接。
Pretrained Weight |
Language |
Details of the model |
---|---|---|
|
English |
12-layer, 768-hidden, 12-heads, 127M parameters. Trained on lower-cased English text. |
下表汇总介绍了目前PaddleNLP支持的BigBird模型对应预训练权重。 关于模型的具体细节可以参考对应链接。
Pretrained Weight |
Language |
Details of the model |
---|---|---|
|
English |
12-layer, 768-hidden, 12-heads, 127M parameters. Trained on lower-cased English text. |