bert
- fast_tokenizer
- modeling
- tokenizer
BasicTokenizer
BertTokenizer
BertTokenizer.vocab_size
BertTokenizer.get_vocab()
BertTokenizer.convert_tokens_to_string()
BertTokenizer.num_special_tokens_to_add()
BertTokenizer.build_inputs_with_special_tokens()
BertTokenizer.build_offset_mapping_with_special_tokens()
BertTokenizer.create_token_type_ids_from_sequences()
BertTokenizer.get_special_tokens_mask()
WordpieceTokenizer