bert#
- fast_tokenizer
- modeling
- tokenizer
BasicTokenizerBertTokenizerBertTokenizer.vocab_sizeBertTokenizer.get_vocab()BertTokenizer.convert_tokens_to_string()BertTokenizer.num_special_tokens_to_add()BertTokenizer.build_inputs_with_special_tokens()BertTokenizer.build_offset_mapping_with_special_tokens()BertTokenizer.create_token_type_ids_from_sequences()BertTokenizer.get_special_tokens_mask()
WordpieceTokenizer