基于技能網絡的通用自然語言生成模型

摘要： 使用多任務訓練的自然語言生成模型僅使用一個模型即可完成各種不同的自然語言生成任務。但這種所有任務共享所有參數的模型，無法清楚地知道模型的每一部分參數學到了什么技能。為了根據不同的任務選擇激活不同的模型參數，該文提出了一種基于稀疏激活的通用自然語言生成模型(SkillNet-NLG)。與傳統(tǒng)的稠密模型在執(zhí)行任務時激活所有的模型參數不同，SkillNet-NLG在執(zhí)行任務時，首先依... （共11頁）