請問要怎麼加入新的一層embedding後送入BERT model訓練

[leo88359]

您好，感謝您釋出台北QA的程式碼，有個問題想請教您~
想請問除了word embedding、position embedding、segment embegginh等三者之外，如果有其他的feature做成的embedding，要如何使其能相疊並且送入BERT model去訓練呢？
感謝您 =D

[p208p2002]

您好： 首先我們可以通過BERT論文了解到他的input embeddings是由三者相加(word, pos, seg) https://i.imgur.com/dXC6lvA.png 再來也可以觀察一下hf的BertEmbeddings實作 https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py#L172 它建立了三個nn.Embedding，輸入shape由類別數量決定 word = 詞表大小(約2w~3W) seg = 2 (A與B) pos = 512 輸出shape均為config.hidden_size(768) 最後在前饋(forward)時將三者相加 https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py#L218 https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py#L219 *依照論文設計，L219是成立的 這個BertEmbeddings會被BertModel呼叫後接著才進行attention運算 https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py#L847 https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py#L988 你可以通過修改或是繼承BertModel來實現你想做的事情； 舉例來說你想增加一個ner embeddings這個ner可能有三個類別(人，地，物)， 那你可以先建立一層新的nn.Embedding(3,768)，然後在 https://github.com/huggingface/transformers/blob/master/src/transformers/models/bert/modeling_bert.py#L994 之後將兩個embedding相加 唯一會需要注意的是，這將會是新的權重，若沒有做適當的訓練，依照我的經驗可能會導致模型性能下降 ------ 一個更簡單的替代方案：增加新的special token，這樣子不需要進行任和架構更動，並且也能有一些不錯的效果 要這麼做的話先將你設計的special token加入tokenizer，然後對word embeddings進行resize 我的另外一個project有一些片段可以參考 https://github.com/p208p2002/Transformer-QG-on-SQuAD/blob/main/models/seq2seq_lm/tokenizer.py#L19 https://github.com/p208p2002/Transformer-QG-on-SQuAD/blob/main/models/seq2seq_lm/model.py#L24

[leo88359]

感謝您的回覆，我有依照您的建議進行修改，但會出現 TypeError: embedding(): argument 'indices' (position 2) must be Tensor, not NoneType 這個錯誤的訊息。

以下是我的程式碼
https://github.com/leo88359/BERT_modeling/blob/main/modeling_bert.py

當中有新增embedding叫做clinical_feature_embedding
https://github.com/leo88359/BERT_modeling/blob/889af9200348adf73888a908d0838a78ecb818b4/modeling_bert.py#L173
https://github.com/leo88359/BERT_modeling/blob/889af9200348adf73888a908d0838a78ecb818b4/modeling_bert.py#L203

回傳到embeddings
https://github.com/leo88359/BERT_modeling/blob/889af9200348adf73888a908d0838a78ecb818b4/modeling_bert.py#L208

最後進行相加
https://github.com/leo88359/BERT_modeling/blob/527ea345b888defceab30477004945e709c5152a/modeling_bert.py#L973

還懇請您協助解惑，感激不盡

[p208p2002]

repo是否設置成private了？我這邊無法看到哦 HO TSUNG TSE ***@***.***>於 2021年10月13日 週三，下午3:40寫道：

…

感謝您的回覆，我有依照您的建議進行修改，但會出現 TypeError: embedding(): argument 'indices' (position 2) must be Tensor, not NoneType 這個錯誤的訊息。 以下是我的程式碼 https://github.com/leo88359/BERT_modeling/blob/main/modeling_bert.py 當中有新增embedding叫做clinical_feature_embedding https://github.com/leo88359/BERT_modeling/blob/889af9200348adf73888a908d0838a78ecb818b4/modeling_bert.py#L173 https://github.com/leo88359/BERT_modeling/blob/889af9200348adf73888a908d0838a78ecb818b4/modeling_bert.py#L203 回傳到embeddings https://github.com/leo88359/BERT_modeling/blob/889af9200348adf73888a908d0838a78ecb818b4/modeling_bert.py#L208 最後進行相加 https://github.com/leo88359/BERT_modeling/blob/527ea345b888defceab30477004945e709c5152a/modeling_bert.py#L973 還懇請您協助解惑，感激不盡 — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#10 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AD7RWBTMXZFTE5PQMIKFZPDUGUZWVANCNFSM5FX5XUJA> . Triage notifications on the go with GitHub Mobile for iOS <https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675> or Android <https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub>.

[leo88359]

抱歉原先不小心設定成private了

以下是程式碼
https://github.com/leo88359/BERT-model/blob/main/modeling_bert.py

當中新增的embedding叫做clinical_feature_embedding
https://github.com/leo88359/BERT-model/blob/13ead3ab4fc331088d8582e4958434b591b9b866/modeling_bert.py#L173
https://github.com/leo88359/BERT-model/blob/13ead3ab4fc331088d8582e4958434b591b9b866/modeling_bert.py#L203

回傳到embedding
https://github.com/leo88359/BERT-model/blob/13ead3ab4fc331088d8582e4958434b591b9b866/modeling_bert.py#L208

最後進行相加
https://github.com/leo88359/BERT-model/blob/13ead3ab4fc331088d8582e4958434b591b9b866/modeling_bert.py#L973

再麻煩您提點了
非常感謝您

[p208p2002]

你直接修改了BertEmbeddings，當然這也是沒問題的
L965修改成：

embedding_output = self.embeddings(
            input_ids=input_ids,
            position_ids=position_ids,
            token_type_ids=token_type_ids,
            inputs_embeds=inputs_embeds,
            past_key_values_length=past_key_values_length,
            clinical_feature_ids=clinical_feature_ids
        )

刪除L973, L974

# clinical_feature_embeddings_output = self.embeddings.clinical_feature_embeddings(clinical_feature_ids)
# embedding_output = embedding_output + clinical_feature_embeddings_output

[leo88359]

您好，感謝您的建議，按上述修改modeling_bert.py內的程式碼後嘗試運行，仍會出現錯誤如下：
TypeError: embedding(): argument 'indices' (position 2) must be Tensor, not NoneType

近一周嘗試debug，仍不知道為甚麼運行後input會變成NoneType，因此無法有資料丟進embedding()
在此附上我的code，想再請教是那裡出了問題導致無法運行。
感激不盡!!

core.py https://github.com/leo88359/BERT-model/blob/main/core.py
train.py https://github.com/leo88359/BERT-model/blob/main/train.py
predict.py https://github.com/leo88359/BERT-model/blob/main/predict.py
modeling_bert.py https://github.com/leo88359/BERT-model/blob/main/modeling_bert.py

---

以下簡述為新增一層embedding而有改動的部分

[core.py]
在make_dataset中定義新的特徵 https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/core.py#L41
建立新增feature的矩陣 https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/core.py#L94
https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/core.py#L98
https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/core.py#L101
make DataDic https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/core.py#L109
make tokens https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/core.py#L130
make data_feature https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/core.py#L148

[train.py]
擷取新增的特徵資料 https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/train.py#L68
新特徵的dic https://github.com/leo88359/BERT-model/blob/094f97262f0873b7b4dfad0fadf2b25eb71394b0/train.py#L94

[p208p2002]

你的BertEmbeddings修改及傳入的參數有問題，可以參考一下我修改的版本
https://drive.google.com/file/d/1Lt2R8sas80GaK5DHheIBh4H2KRPqCrqe/view?usp=sharing
我在裡面新增了test.py作為測試，直接執行即可

可能需要先安裝 loguru pip install loguru

[p208p2002]

你可能會需要注意src/transformers/models/bert/modeling_bert.py#L173中 input shape 的設定，目前是跟隨vocab size；應該要設置成與你的特徵類別相同大小

self.clinical_feature_embeddings = nn.Embedding(config.vocab_size, config.hidden_size, padding_idx=config.pad_token_id)