luke#
- modeling
- tokenizer
LukeTokenizer
LukeTokenizer.sep_token_id
LukeTokenizer.cls_token_id
LukeTokenizer.pad_token_id
LukeTokenizer.unk_token_id
LukeTokenizer.get_entity_vocab()
LukeTokenizer.tokenize()
LukeTokenizer.convert_tokens_to_string()
LukeTokenizer.add_special_tokens()
LukeTokenizer.convert_entity_to_id()
LukeTokenizer.entity_encode()
LukeTokenizer.get_offset_mapping()
LukeTokenizer.create_token_type_ids_from_sequences()
LukeTokenizer.num_special_tokens_to_add()
LukeTokenizer.build_inputs_with_special_tokens()