分享你的数据集

除了使用PaddleNLP内置的数据集以外,我们也鼓励用户向PaddleNLP贡献自己的数据集。

下面我们来介绍一下贡献数据集的详细流程:

配置环境

  1. 编写和测试PaddleNLP代码需要依赖python3.6以上版本以及最新版本的PaddlePaddle。请确保正确安装以上依赖。

  2. 在PaddleNLP的github页面上点击Fork按钮,在自己的github中创建一份PaddleNLP repo的副本。

  3. 将您frok的内容下载到本地,并将官方repo作为remote。

    git clone https://github.com/USERNAME/PaddleNLP
    cd PaddleNLP
    git remote add upstream https://github.com/PaddlePaddle/PaddleNLP.git
    
  4. 安装pre-commit钩子,它可以帮助我们格式化源代码,再提交前自动检查代码问题。不满足钩子的PR 不能 被提交到PaddleNLP。

    pip install pre-commit
    pre-commit install
    

添加一个 DatasetBuilder

  1. 创建一个新的本地分支,一般从develop 分支上创建新分支。

    git checkout -b my-new-dataset
    
  2. 找到您本地repo下的 PaddleNLP/paddlenlp/datasets/ 路径,PaddleNLP的所有数据集代码都储存在这个文件夹下。

    cd paddlenlp/datasets
    
  3. 为您的数据集确定一个 name,例如 squad , chnsenticorp 等,这个 name 就是您的数据集被读取时的名称。

    注解

    • 为了方便别人使用您的数据集,确保这个 name 不会太长而且能够正确的表义

    • 数据集的 name 格式应为snake case。

  4. 在该路径下创建python文件,文件名是数据集的 name,例如 squad.py 。并在这个文件中编写数据集的 DatasetBuilder 代码。

    DatasetBuilder 的编写可以参考教程 如何创建一个DatasetBuilder 。里面给出了详细的步骤和规范。

    我们也推荐您参考已有数据集的 DatasetBuilder 进行创建,从已有代码copy一些共用部分可能对您编写自己的数据集代码有所帮助,下面是一些已有数据集的示例:

    • iwslt15.py 翻译数据集,包含词表文件。

    • glue.py glue数据集,包含多个子数据集,文件格式为tsv。

    • squad.py 阅读理解数据集,文件格式为json。

    • imdb.py imdb数据集,每个split包含多个文件。

    • ptb.py 语料库数据集。

    • msra_ner.py 序列标注数据集。

  5. 开发完成后,可以使用 load_dataset 测试您创建的数据集中的split能否正确被识别。也可以使用 print 看看数据集读入的格式是否符合您的预期:

    from paddlenlp.datasets import load_dataset
    
    ds = load_dataset('your_dataset_name', splits='your_split')
    print(ds[0])
    

提交您的成果

  1. 当您认为数据集的代码已经ready后,就可以在本地commit您的修改了:

    git add PaddleNLP/paddlenlp/datasets/your_dataset_name.py
    git commit
    
  2. 在提交修改之前,最好获取获取先upstream的最新代码并更新当前分支。

    git fetch upstream
    git pull upstream develop
    
  3. 将本地的修改推送到GitHub上,并在GitHub上向PaddleNLP提交Pull Request。

    git push origin my-new-dataset
    

以上就是像PaddleNLP贡献数据集的完整流程了。我们看到您的PR后会尽快review,如果有任何问题都会尽快反馈给您。如果没有问题的话我们就会合入到PaddleNLP repo,您贡献的数据集就可以供其他人使用啦。

如果您对贡献数据集还有任何疑问,欢迎加入官方QQ技术交流群: 973379845向我们提出。我们会尽快为您解答。