按照林灰在論文中補充內容進行的闡述。
傳統的訓練機制下,文本摘要模型的產生思路是:
語料訓練→模型
而按照林灰的思路引入預訓練機制后。
文本摘要模型的產生思路是:
語料預訓練→預訓練模型→微調→模型
這個思路的本身是沒問題的。
但伊芙·卡莉面對著這個全新的模型產生思路卻滿腦子全是問題。
具體應用的時候究竟引入何種的預訓練方式...
按照林灰在論文中補充內容進行的闡述。
傳統的訓練機制下,文本摘要模型的產生思路是:
語料訓練→模型
而按照林灰的思路引入預訓練機制后。
文本摘要模型的產生思路是:
語料預訓練→預訓練模型→微調→模型
這個思路的本身是沒問題的。
但伊芙·卡莉面對著這個全新的模型產生思路卻滿腦子全是問題。
具體應用的時候究竟引入何種的預訓練方式...