ernie_m#
- modeling
- tokenizer
ErnieMTokenizer
ErnieMTokenizer.get_offset_mapping()
ErnieMTokenizer.vocab_size
ErnieMTokenizer.get_vocab()
ErnieMTokenizer.clean_text()
ErnieMTokenizer.convert_tokens_to_string()
ErnieMTokenizer.convert_ids_to_string()
ErnieMTokenizer.build_inputs_with_special_tokens()
ErnieMTokenizer.build_offset_mapping_with_special_tokens()
ErnieMTokenizer.get_special_tokens_mask()
ErnieMTokenizer.create_token_type_ids_from_sequences()
ErnieMTokenizer.is_ch_char()
ErnieMTokenizer.is_alpha()
ErnieMTokenizer.is_punct()
ErnieMTokenizer.is_whitespace()