Issues with loading and inferencing from saved model

[GeorgeLeung]

Hi,
First of all, very interesting paper. Great work!
I am trying to reproduce your method on a different dataset (2018 n2c2 shared task on adverse drug events and medication extraction in electronic health records) and I ran into problems with inference.

I used the same config from genia.json, had the model trained and saved. When I try to load the saved model with AutoModel or AutoModelForSequenceClassification or Binder Class, it returns:

Some weights of the model checkpoint at /home/ubuntu/python_projects/ner_models/binder/n2c2_skip_empty/ were not used when initializing BertModel: ['text_encoder.encoder.layer.2.output.LayerNorm.bias', 'type_encoder.encoder.layer.7.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.1.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.7.output.dense.bias', 'type_encoder.encoder.layer.10.output.dense.bias', 'text_encoder.encoder.layer.5.attention.self.query.weight', 'text_encoder.encoder.layer.10.intermediate.dense.bias', 'type_encoder.encoder.layer.4.output.LayerNorm.bias', 'type_encoder.embeddings.LayerNorm.bias', 'type_encoder.encoder.layer.0.intermediate.dense.bias', 'text_encoder.encoder.layer.10.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.6.output.dense.weight', 'type_encoder.encoder.layer.3.attention.self.value.bias', 'type_encoder.encoder.layer.3.output.LayerNorm.weight', 'type_encoder.encoder.layer.0.attention.output.LayerNorm.bias', 'text_encoder.embeddings.position_ids', 'type_encoder.encoder.layer.5.attention.output.dense.bias', 'type_encoder.encoder.layer.2.output.dense.bias', 'type_encoder.encoder.layer.5.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.3.attention.self.key.weight', 'text_encoder.encoder.layer.3.attention.output.dense.weight', 'text_encoder.encoder.layer.7.output.LayerNorm.bias', 'type_encoder.encoder.layer.6.intermediate.dense.bias', 'type_encoder.encoder.layer.4.attention.self.value.bias', 'type_start_linear.bias', 'type_encoder.encoder.layer.4.attention.self.value.weight', 'text_encoder.encoder.layer.5.attention.self.value.bias', 'type_encoder.encoder.layer.11.attention.output.dense.bias', 'span_linear.bias', 'text_encoder.encoder.layer.5.attention.output.dense.bias', 'type_span_linear.weight', 'type_encoder.encoder.layer.8.intermediate.dense.bias', 'type_encoder.encoder.layer.2.attention.self.value.weight', 'text_encoder.encoder.layer.8.output.dense.weight', 'type_encoder.encoder.layer.0.output.dense.bias', 'type_encoder.encoder.layer.3.output.dense.bias', 'type_encoder.encoder.layer.6.attention.output.dense.bias', 'type_encoder.embeddings.word_embeddings.weight', 'type_encoder.encoder.layer.7.attention.output.dense.bias', 'text_encoder.encoder.layer.9.attention.self.query.weight', 'text_encoder.encoder.layer.8.intermediate.dense.weight', 'text_encoder.encoder.layer.9.attention.self.value.weight', 'text_encoder.encoder.layer.2.output.dense.bias', 'type_encoder.encoder.layer.2.intermediate.dense.bias', 'text_encoder.encoder.layer.6.intermediate.dense.bias', 'text_encoder.encoder.layer.1.attention.self.key.weight', 'text_encoder.encoder.layer.4.attention.self.value.weight', 'type_encoder.encoder.layer.1.output.dense.bias', 'type_start_linear.weight', 'type_encoder.encoder.layer.0.output.LayerNorm.weight', 'type_encoder.encoder.layer.9.attention.self.query.weight', 'type_encoder.encoder.layer.6.intermediate.dense.weight', 'text_encoder.encoder.layer.3.output.dense.bias', 'text_encoder.encoder.layer.2.output.LayerNorm.weight', 'text_encoder.encoder.layer.1.output.LayerNorm.bias', 'text_encoder.encoder.layer.10.attention.self.query.weight', 'type_encoder.encoder.layer.4.intermediate.dense.bias', 'type_encoder.encoder.layer.1.attention.self.key.bias', 'text_encoder.encoder.layer.1.output.LayerNorm.weight', 'type_encoder.encoder.layer.9.attention.self.value.weight', 'text_encoder.encoder.layer.0.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.5.output.dense.bias', 'text_encoder.encoder.layer.2.attention.output.dense.weight', 'type_encoder.encoder.layer.5.intermediate.dense.weight', 'text_encoder.encoder.layer.4.attention.output.LayerNorm.bias', 'text_encoder.embeddings.position_embeddings.weight', 'type_encoder.encoder.layer.9.output.LayerNorm.bias', 'type_encoder.encoder.layer.5.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.1.output.LayerNorm.weight', 'type_encoder.encoder.layer.8.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.10.output.LayerNorm.bias', 'text_encoder.encoder.layer.4.attention.self.value.bias', 'type_encoder.encoder.layer.1.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.11.intermediate.dense.weight', 'text_encoder.encoder.layer.1.attention.self.query.weight', 'text_encoder.encoder.layer.10.attention.output.dense.bias', 'text_encoder.encoder.layer.3.intermediate.dense.weight', 'text_encoder.encoder.layer.0.intermediate.dense.bias', 'text_encoder.encoder.layer.0.attention.self.value.bias', 'type_encoder.encoder.layer.9.attention.self.key.bias', 'type_encoder.encoder.layer.7.intermediate.dense.bias', 'text_encoder.encoder.layer.6.output.LayerNorm.weight', 'text_encoder.encoder.layer.2.output.dense.weight', 'type_encoder.encoder.layer.11.attention.output.dense.weight', 'text_encoder.encoder.layer.2.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.6.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.10.output.LayerNorm.weight', 'type_encoder.encoder.layer.4.intermediate.dense.weight', 'text_encoder.encoder.layer.4.attention.self.query.bias', 'text_encoder.encoder.layer.7.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.1.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.9.attention.self.query.bias', 'text_encoder.encoder.layer.4.output.LayerNorm.bias', 'text_encoder.encoder.layer.7.attention.self.query.bias', 'text_encoder.encoder.layer.8.attention.output.LayerNorm.bias', 'text_encoder.embeddings.token_type_embeddings.weight', 'text_encoder.encoder.layer.11.output.dense.bias', 'type_encoder.encoder.layer.8.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.0.attention.output.dense.bias', 'text_encoder.encoder.layer.6.output.dense.bias', 'text_encoder.encoder.layer.2.attention.self.value.bias', 'text_encoder.encoder.layer.11.output.LayerNorm.weight', 'text_encoder.encoder.layer.10.output.dense.bias', 'type_encoder.encoder.layer.7.output.dense.bias', 'text_encoder.encoder.layer.1.output.dense.bias', 'text_encoder.encoder.layer.5.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.3.attention.output.dense.bias', 'text_encoder.encoder.layer.3.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.10.attention.self.key.weight', 'text_encoder.encoder.layer.5.attention.self.key.bias', 'text_encoder.encoder.layer.10.output.dense.weight', 'text_encoder.encoder.layer.9.attention.self.key.bias', 'type_encoder.encoder.layer.4.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.11.attention.self.query.bias', 'text_encoder.encoder.layer.3.attention.self.value.bias', 'type_encoder.encoder.layer.11.attention.self.key.weight', 'text_encoder.encoder.layer.4.attention.output.dense.weight', 'text_encoder.encoder.layer.4.intermediate.dense.weight', 'type_encoder.encoder.layer.5.attention.self.key.weight', 'type_encoder.encoder.layer.2.output.dense.weight', 'text_encoder.encoder.layer.7.intermediate.dense.bias', 'type_encoder.encoder.layer.7.output.dense.weight', 'text_encoder.encoder.layer.8.intermediate.dense.bias', 'text_encoder.encoder.layer.8.attention.output.dense.bias', 'type_encoder.encoder.layer.5.attention.output.dense.weight', 'type_encoder.encoder.layer.10.attention.self.query.weight', 'type_encoder.encoder.layer.11.output.dense.weight', 'type_encoder.encoder.layer.0.attention.output.dense.bias', 'text_encoder.encoder.layer.9.intermediate.dense.bias', 'type_encoder.encoder.layer.0.attention.self.key.weight', 'text_encoder.encoder.layer.11.output.dense.weight', 'text_encoder.encoder.layer.2.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.0.attention.self.query.weight', 'type_encoder.encoder.layer.2.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.5.attention.self.query.weight', 'type_encoder.encoder.layer.0.attention.self.query.bias', 'text_encoder.encoder.layer.5.output.LayerNorm.bias', 'text_encoder.encoder.layer.0.attention.self.key.weight', 'text_encoder.encoder.layer.7.attention.output.dense.weight', 'type_encoder.encoder.layer.0.attention.self.value.bias', 'text_encoder.encoder.layer.0.attention.self.key.bias', 'text_encoder.encoder.layer.10.attention.self.value.bias', 'text_encoder.encoder.layer.5.intermediate.dense.bias', 'type_encoder.encoder.layer.1.output.LayerNorm.bias', 'text_encoder.encoder.layer.9.attention.output.LayerNorm.weight', 'end_logit_scale', 'text_encoder.encoder.layer.5.output.LayerNorm.weight', 'type_encoder.encoder.layer.10.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.0.output.LayerNorm.bias', 'type_encoder.encoder.layer.5.output.LayerNorm.weight', 'text_encoder.encoder.layer.11.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.3.attention.self.query.bias', 'type_encoder.encoder.layer.2.attention.self.key.weight', 'text_encoder.encoder.layer.9.output.dense.weight', 'text_encoder.encoder.layer.8.attention.self.key.bias', 'type_encoder.encoder.layer.6.output.LayerNorm.weight', 'type_encoder.encoder.layer.6.attention.self.value.weight', 'type_encoder.encoder.layer.3.intermediate.dense.bias', 'type_encoder.encoder.layer.10.intermediate.dense.bias', 'text_encoder.encoder.layer.10.intermediate.dense.weight', 'text_encoder.encoder.layer.10.attention.output.dense.weight', 'text_encoder.encoder.layer.1.attention.self.value.bias', 'type_encoder.encoder.layer.6.attention.self.query.bias', 'text_encoder.encoder.layer.9.output.LayerNorm.weight', 'type_encoder.encoder.layer.0.output.dense.weight', 'type_encoder.encoder.layer.4.attention.output.dense.bias', 'type_encoder.encoder.layer.9.intermediate.dense.bias', 'type_encoder.encoder.layer.4.attention.self.query.bias', 'text_encoder.embeddings.word_embeddings.weight', 'text_encoder.encoder.layer.11.attention.self.key.weight', 'text_encoder.encoder.layer.1.attention.output.dense.bias', 'type_encoder.encoder.layer.11.intermediate.dense.bias', 'type_encoder.encoder.layer.9.attention.output.dense.bias', 'text_encoder.encoder.layer.3.output.LayerNorm.bias', 'text_encoder.encoder.layer.8.attention.self.value.bias', 'type_encoder.encoder.layer.1.attention.self.value.weight', 'text_encoder.encoder.layer.7.attention.self.query.weight', 'text_encoder.encoder.layer.1.intermediate.dense.weight', 'type_encoder.encoder.layer.2.attention.self.query.weight', 'type_encoder.encoder.layer.3.attention.self.key.bias', 'type_encoder.encoder.layer.6.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.9.attention.self.value.bias', 'type_encoder.encoder.layer.6.output.LayerNorm.bias', 'type_encoder.encoder.layer.5.output.dense.bias', 'text_encoder.encoder.layer.8.attention.self.value.weight', 'width_embeddings.weight', 'text_encoder.encoder.layer.3.intermediate.dense.bias', 'text_encoder.encoder.layer.9.output.dense.bias', 'type_encoder.encoder.layer.7.output.LayerNorm.bias', 'type_encoder.encoder.layer.1.attention.self.query.weight', 'text_encoder.encoder.layer.8.attention.self.query.bias', 'text_encoder.encoder.layer.11.attention.output.dense.bias', 'type_encoder.encoder.layer.5.attention.self.value.weight', 'text_encoder.encoder.layer.1.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.8.output.dense.bias', 'type_encoder.encoder.layer.11.attention.self.value.weight', 'text_encoder.encoder.layer.7.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.7.output.LayerNorm.weight', 'type_encoder.encoder.layer.4.output.dense.weight', 'type_encoder.embeddings.position_ids', 'text_encoder.encoder.layer.6.attention.self.key.weight', 'type_encoder.encoder.layer.10.attention.self.key.weight', 'type_encoder.encoder.layer.9.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.4.attention.self.key.bias', 'text_encoder.encoder.layer.6.attention.self.query.bias', 'text_encoder.encoder.layer.4.attention.self.key.weight', 'type_encoder.encoder.layer.1.attention.self.value.bias', 'type_encoder.encoder.layer.7.attention.self.query.weight', 'text_encoder.encoder.layer.9.attention.self.key.weight', 'type_encoder.encoder.layer.7.attention.self.key.weight', 'text_encoder.encoder.layer.11.attention.self.query.weight', 'type_encoder.encoder.layer.10.attention.self.key.bias', 'text_encoder.encoder.layer.2.attention.output.dense.bias', 'type_end_linear.bias', 'text_encoder.encoder.layer.7.attention.self.key.weight', 'text_encoder.encoder.layer.6.attention.self.value.bias', 'text_encoder.encoder.layer.5.attention.output.dense.weight', 'text_encoder.encoder.layer.11.intermediate.dense.bias', 'text_encoder.encoder.layer.5.attention.self.key.weight', 'type_encoder.encoder.layer.0.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.7.attention.self.value.weight', 'text_encoder.encoder.layer.1.intermediate.dense.bias', 'type_encoder.encoder.layer.1.attention.self.key.weight', 'text_encoder.encoder.layer.9.attention.self.query.bias', 'type_encoder.encoder.layer.10.attention.output.dense.weight', 'text_encoder.encoder.layer.6.attention.output.dense.bias', 'type_encoder.encoder.layer.6.attention.self.key.weight', 'text_encoder.encoder.layer.10.attention.self.value.weight', 'type_encoder.encoder.layer.8.attention.self.query.bias', 'type_encoder.encoder.layer.5.attention.self.value.bias', 'text_encoder.encoder.layer.3.attention.self.key.bias', 'type_encoder.encoder.layer.8.attention.self.key.weight', 'text_encoder.encoder.layer.10.attention.self.query.bias', 'type_span_linear.bias', 'text_encoder.encoder.layer.11.attention.self.key.bias', 'type_encoder.encoder.layer.11.attention.self.value.bias', 'text_encoder.encoder.layer.7.attention.output.dense.bias', 'text_encoder.encoder.layer.0.output.dense.weight', 'text_encoder.encoder.layer.2.attention.self.key.bias', 'type_encoder.encoder.layer.2.attention.self.value.bias', 'type_encoder.encoder.layer.0.intermediate.dense.weight', 'text_encoder.encoder.layer.1.attention.self.value.weight', 'type_encoder.encoder.layer.8.attention.self.value.weight', 'type_encoder.encoder.layer.1.attention.output.dense.bias', 'text_encoder.encoder.layer.5.output.dense.weight', 'text_encoder.encoder.layer.0.attention.output.dense.weight', 'text_encoder.encoder.layer.11.intermediate.dense.weight', 'type_encoder.encoder.layer.9.output.LayerNorm.weight', 'type_encoder.encoder.layer.10.intermediate.dense.weight', 'type_encoder.encoder.layer.5.output.LayerNorm.bias', 'text_encoder.encoder.layer.0.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.6.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.4.attention.self.query.weight', 'type_encoder.encoder.layer.8.output.dense.weight', 'type_encoder.encoder.layer.2.output.LayerNorm.weight', 'type_encoder.encoder.layer.9.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.3.attention.self.query.weight', 'text_encoder.encoder.layer.2.attention.self.key.weight', 'text_encoder.encoder.layer.3.attention.self.key.weight', 'type_encoder.encoder.layer.0.attention.self.value.weight', 'type_encoder.encoder.layer.1.output.dense.weight', 'type_encoder.encoder.layer.11.attention.output.LayerNorm.weight', 'text_encoder.embeddings.LayerNorm.bias', 'type_encoder.embeddings.LayerNorm.weight', 'text_encoder.encoder.layer.2.intermediate.dense.weight', 'type_encoder.encoder.layer.8.intermediate.dense.weight', 'type_encoder.encoder.layer.4.attention.self.key.weight', 'text_encoder.encoder.layer.6.output.LayerNorm.bias', 'text_encoder.encoder.layer.2.attention.self.query.bias', 'type_encoder.encoder.layer.2.attention.output.dense.weight', 'type_encoder.encoder.layer.9.attention.self.value.bias', 'text_encoder.encoder.layer.8.output.dense.bias', 'type_encoder.encoder.layer.1.intermediate.dense.weight', 'type_encoder.encoder.layer.2.attention.self.query.bias', 'type_encoder.encoder.layer.5.attention.self.key.bias', 'type_encoder.encoder.layer.8.attention.self.key.bias', 'type_encoder.encoder.layer.0.output.LayerNorm.bias', 'type_encoder.encoder.layer.3.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.0.attention.self.query.bias', 'type_encoder.encoder.layer.11.attention.self.query.bias', 'text_encoder.encoder.layer.4.attention.output.dense.bias', 'text_encoder.encoder.layer.9.intermediate.dense.weight', 'type_encoder.encoder.layer.8.output.LayerNorm.weight', 'type_encoder.encoder.layer.6.attention.self.key.bias', 'type_encoder.encoder.layer.9.attention.output.dense.weight', 'text_encoder.encoder.layer.8.output.LayerNorm.weight', 'type_encoder.encoder.layer.0.attention.self.key.bias', 'text_encoder.encoder.layer.10.attention.self.key.bias', 'text_encoder.embeddings.LayerNorm.weight', 'type_encoder.encoder.layer.10.output.dense.weight', 'text_encoder.encoder.layer.8.attention.self.key.weight', 'type_encoder.encoder.layer.8.attention.output.dense.weight', 'text_encoder.encoder.layer.5.intermediate.dense.weight', 'type_encoder.encoder.layer.3.attention.output.dense.weight', 'type_encoder.encoder.layer.3.output.dense.weight', 'text_encoder.encoder.layer.4.output.LayerNorm.weight', 'type_encoder.encoder.layer.4.attention.output.dense.weight', 'text_encoder.encoder.layer.1.output.dense.weight', 'type_encoder.encoder.layer.7.attention.output.dense.weight', 'text_encoder.encoder.layer.6.attention.output.dense.weight', 'type_encoder.encoder.layer.7.intermediate.dense.weight', 'text_encoder.encoder.layer.7.attention.self.value.weight', 'text_encoder.encoder.layer.6.attention.self.value.weight', 'text_encoder.encoder.layer.3.attention.self.query.weight', 'text_encoder.encoder.layer.2.intermediate.dense.bias', 'text_encoder.encoder.layer.8.attention.self.query.weight', 'type_encoder.encoder.layer.5.attention.self.query.bias', 'type_encoder.encoder.layer.10.attention.self.value.weight', 'text_encoder.encoder.layer.4.output.dense.weight', 'text_encoder.encoder.layer.11.attention.self.value.bias', 'type_encoder.encoder.layer.10.output.LayerNorm.bias', 'span_logit_scale', 'type_encoder.encoder.layer.3.attention.self.value.weight', 'type_encoder.encoder.layer.3.intermediate.dense.weight', 'type_encoder.encoder.layer.11.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.0.attention.self.query.weight', 'text_encoder.encoder.layer.8.output.LayerNorm.bias', 'text_encoder.encoder.layer.0.intermediate.dense.weight', 'text_encoder.encoder.layer.5.attention.self.query.bias', 'type_encoder.encoder.layer.9.intermediate.dense.weight', 'type_encoder.encoder.layer.10.output.LayerNorm.weight', 'type_encoder.encoder.layer.9.output.dense.bias', 'text_encoder.encoder.layer.0.attention.self.value.weight', 'text_encoder.encoder.layer.2.attention.self.query.weight', 'type_encoder.encoder.layer.6.attention.output.dense.weight', 'type_encoder.encoder.layer.11.output.dense.bias', 'type_encoder.encoder.layer.6.attention.self.value.bias', 'end_linear.weight', 'type_encoder.encoder.layer.11.output.LayerNorm.bias', 'type_encoder.encoder.layer.10.attention.output.dense.bias', 'type_encoder.encoder.layer.8.attention.output.dense.bias', 'type_end_linear.weight', 'text_encoder.encoder.layer.3.output.dense.weight', 'type_encoder.encoder.layer.1.attention.self.query.bias', 'text_encoder.encoder.layer.11.attention.output.dense.weight', 'type_encoder.embeddings.position_embeddings.weight', 'text_encoder.encoder.layer.0.output.LayerNorm.weight', 'start_linear.bias', 'type_encoder.encoder.layer.0.attention.output.dense.weight', 'type_encoder.encoder.layer.1.attention.output.dense.weight', 'text_encoder.encoder.layer.11.output.LayerNorm.bias', 'text_encoder.encoder.layer.6.intermediate.dense.weight', 'text_encoder.encoder.layer.7.intermediate.dense.weight', 'type_encoder.encoder.layer.4.output.dense.bias', 'text_encoder.encoder.layer.4.output.dense.bias', 'text_encoder.encoder.layer.7.output.dense.weight', 'text_encoder.encoder.layer.9.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.6.output.dense.bias', 'text_encoder.encoder.layer.3.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.4.attention.self.query.weight', 'type_encoder.encoder.layer.5.intermediate.dense.bias', 'type_encoder.encoder.layer.4.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.8.attention.self.query.weight', 'end_linear.bias', 'type_encoder.encoder.layer.11.output.LayerNorm.weight', 'text_encoder.encoder.layer.3.attention.output.dense.bias', 'type_encoder.encoder.layer.2.attention.self.key.bias', 'text_encoder.encoder.layer.4.attention.self.key.bias', 'text_encoder.encoder.layer.6.attention.self.query.weight', 'text_encoder.encoder.layer.11.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.3.output.LayerNorm.bias', 'type_encoder.embeddings.token_type_embeddings.weight', 'text_encoder.encoder.layer.9.output.LayerNorm.bias', 'text_encoder.encoder.layer.3.attention.self.query.bias', 'text_encoder.encoder.layer.5.attention.self.value.weight', 'text_encoder.encoder.layer.8.attention.output.dense.weight', 'text_encoder.encoder.layer.4.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.2.intermediate.dense.weight', 'type_encoder.encoder.layer.1.intermediate.dense.bias', 'text_encoder.encoder.layer.3.output.LayerNorm.weight', 'type_encoder.encoder.layer.3.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.9.attention.self.key.weight', 'type_encoder.encoder.layer.11.attention.self.key.bias', 'type_encoder.encoder.layer.8.output.LayerNorm.bias', 'text_encoder.encoder.layer.8.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.10.attention.self.query.bias', 'type_encoder.encoder.layer.9.output.dense.weight', 'text_encoder.encoder.layer.10.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.3.attention.self.value.weight', 'type_encoder.encoder.layer.6.output.dense.weight', 'text_encoder.encoder.layer.1.attention.self.key.bias', 'text_encoder.encoder.layer.7.attention.self.key.bias', 'type_encoder.encoder.layer.7.output.LayerNorm.weight', 'type_encoder.encoder.layer.6.attention.self.query.weight', 'type_encoder.encoder.layer.7.attention.self.key.bias', 'type_encoder.encoder.layer.11.attention.self.query.weight', 'type_encoder.encoder.layer.2.output.LayerNorm.bias', 'text_encoder.encoder.layer.6.attention.output.LayerNorm.weight', 'type_encoder.encoder.layer.7.attention.self.query.bias', 'type_encoder.encoder.layer.5.output.dense.weight', 'text_encoder.encoder.layer.9.attention.output.dense.bias', 'text_encoder.encoder.layer.11.attention.self.value.weight', 'text_encoder.encoder.layer.1.attention.output.dense.weight', 'start_logit_scale', 'type_encoder.encoder.layer.10.attention.output.LayerNorm.bias', 'type_encoder.encoder.layer.8.attention.self.value.bias', 'type_encoder.encoder.layer.4.output.LayerNorm.weight', 'type_encoder.encoder.layer.2.attention.output.dense.bias', 'type_encoder.encoder.layer.2.attention.output.LayerNorm.weight', 'text_encoder.encoder.layer.1.attention.self.query.bias', 'type_encoder.encoder.layer.10.attention.self.value.bias', 'span_linear.weight', 'text_encoder.encoder.layer.0.output.dense.bias', 'text_encoder.encoder.layer.2.attention.self.value.weight', 'text_encoder.encoder.layer.4.intermediate.dense.bias', 'type_encoder.encoder.layer.7.attention.self.value.bias', 'start_linear.weight', 'text_encoder.encoder.layer.7.attention.self.value.bias', 'text_encoder.encoder.layer.9.attention.output.dense.weight', 'type_encoder.encoder.layer.7.attention.output.LayerNorm.bias', 'text_encoder.encoder.layer.6.attention.self.key.bias', 'text_encoder.encoder.layer.5.attention.output.LayerNorm.bias']

From the message and performance of inference, it seems that it is not loading the weights correctly. Do you have an example of loading the saved model and inference? Thanks!