mbart#
- modeling
- tokenizer
MBartTokenizer
MBartTokenizer.save_resources()
MBartTokenizer.vocab_size
MBartTokenizer.get_vocab()
MBartTokenizer.convert_tokens_to_string()
MBartTokenizer.convert_ids_to_string()
MBartTokenizer.get_special_tokens_mask()
MBartTokenizer.build_inputs_with_special_tokens()
MBartTokenizer.build_offset_mapping_with_special_tokens()
MBartTokenizer.set_src_lang_special_tokens()
MBartTokenizer.set_tgt_lang_special_tokens()
MBart50Tokenizer
MBart50Tokenizer.save_resources()
MBart50Tokenizer.get_vocab()
MBart50Tokenizer.vocab_size
MBart50Tokenizer.convert_tokens_to_string()
MBart50Tokenizer.convert_ids_to_string()
MBart50Tokenizer.get_special_tokens_mask()
MBart50Tokenizer.build_inputs_with_special_tokens()
MBart50Tokenizer.build_offset_mapping_with_special_tokens()
MBart50Tokenizer.set_src_lang_special_tokens()
MBart50Tokenizer.set_tgt_lang_special_tokens()