站長資訊網
在NLP世界里
有一支很重要的家族
英文叫做LARK(LAnguage Representations Kit)，
翻譯成中文是語言表示工具箱
目前LARK家族最新最重要的三種算法
分別叫做是ELMo，BERT和ERNIE
你一定不知道
這三個普通的名字
竟然包含著一個有趣的秘密
真相，即將揭開!
我們先從算法模型的名字尋找一些蛛絲馬跡
第一位，ELMo：
來自英文Embedding from Language Models 的縮寫
來自論文名為Deep contextualized word representation
第二位，BERT:
來自英文Bidirectional Encoder Representations from Transformers的縮寫
來自論文名為Pre-training of Deep Bidirectional Transformers for Language Understanding。
第三位，ERNIE:
來自英文Enhanced Representation through kNowledge IntEgration) 的縮寫
來自論文名為Enhanced Representation through Knowledge Integration。
看完了
是不是
還是一頭霧水
哪里有什么秘密?
不賣關子了，直接上圖!
What??
再回頭看看
你還記得那三個算法的名字么
ELMo，BERT，ERNIE
竟然都是美國經典動畫片
《Sesame Street(芝麻街)》里面的卡通人物!!!
好吧，如果你說
沒看過這個動畫片，沒感覺啊
那我舉個例子
如果把《芝麻街》類比成中文《舒克和貝塔》
那么
第一篇論文把模型取做“舒克”
第二篇很有愛的就叫做“貝塔”
第三篇就硬把模型叫做“皮皮魯”
也許不久的下一個模型就命名為“魯西西”啦
誰說科學家們很無聊
是不是也很童趣
好了，扯遠了
今天
我們先給大家介紹LARK家族的ELMo!
提出它的論文獲得2018年NAACL最佳paper，
它在NLP領域可是有著響當當的名頭，讓我們來認識它!
ELMo模型簡介
ELMo(Embeddings from Language Models) 是重要的通用語義表示模型之一，以雙向 LSTM 為網路基本組件，以 Language Model 為訓練目標，通過預訓練得到通用的語義表示，將通用的語義表示作為 Feature 遷移到下游 NLP 任務中，會顯著提升下游任務的模型性能。
ELMo模型核心是一個雙層雙向的LSTM網絡，與傳統的word2vec算法中詞向量一成不變相比，ELMo會根據上下文改變語義embedding。
一個簡單的例子就是 “蘋果”的詞向量
句子1：“我 買了 1斤 蘋果”
句子2：“我 新 買了 1個 蘋果 X”
在word2vec算法中，“蘋果”的詞向量固定，無法區分這兩句話的區別，而ELMo可以解決語言中的二義性問題，可以帶來性能的顯著提升。
ELMo項目的飛槳(PaddlePaddle)實現
為了方便廣大的開發者， 飛槳(PaddlePaddle) 完成了ELMo的開源實現(依賴于 PaddlePaddle 1.4.0),發布要點如下。
注意啦，下面劃重點!!!
接下來
我們看看怎么可以快速
把ELMo用到我們的項目中來吧!
ELMo訓練過程介紹
(1)數據預處理
將文檔按照句號、問號、感嘆以及內容分詞預處理。預處理后的數據文件，每行為一個分詞后的句子。給出了訓練數據 data/train 和測試數據 data/dev的數據示例如下：
本書介紹了中國經濟發展的內外平衡問題 、 亞洲金融危機十周年回顧與反思、實踐中的 城鄉統籌發展、未來十年中國需要研究的重大課題、科學發展與新型工業化等方面。
吳敬璉曾經提出中國股市“ 賭場論 ”， 主張維護市場規則，保護草根階層生計，被譽為 “中國經濟學界良心”，是媒體和公眾眼中的學術明星。
(2)模型訓練
利用提供的示例訓練數據和測試數據，進行單機多卡預訓練。在開始預訓練之前，需要把 CUDA、cuDNN、NCCL2 等動態庫路徑加入到環境變量 LD_LIBRARY_PATH 之中，然后執行run.sh即可開始單機多卡預訓練，run.sh文件內容如下：
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
python train.py
–train_path=’data/train/sentence_file_*’
–test_path=’data/dev/sentence_file_*’
–vocab_path data/vocabulary_min5k.txt
–learning_rate 0.2
–use_gpu True
–all_train_tokens 35479
–local True $@
其中， all_train_tokens為train和dev統計出來的tokens總量，訓練過程中，默認每個epoch后，將模型參數寫入到 checkpoints 路徑下，可以用于遷移到下游NLP任務。
(3)ELMo模型遷移
以 LAC 任務為示例, 將 ELMo 預訓練模型的語義表示遷移到 LAC 任務的主要步驟如下：
#step 1: 在已經搭建好的LAC 網絡結構之后，加載 ELMo 預訓練模型參數
from bilm import init_pretraining_params
init_pretraining_params(exe, args.pretrain_elmo_model_path, fluid.default_main_program())
#step 2: 基于 ELMo 字典 將輸入數據轉化為 word_ids，利用 elmo_encoder 接口獲取 ELMo embedding
from bilm import elmo_encoder
elmo_embedding = elmo_encoder(word_ids)
#step 3: ELMo embedding 與 LAC 原有 word_embedding 拼接得到最終的 embedding
word_embedding=fluid.layers.concat(input=[elmo_embedding, word_embedding], axis=1)
好的，到這里，模型的遷移就完成了，
再來回顧一下加入ELMo后對性能的提升，
心動不如行動
趕緊用起來吧!
ERNIE模型簡介
學習完了ELMo，我們再來了解一下LARK家族的學習成績最好的重磅成員ERNIE，在多項NLP中文任務上表現非凡。
ERNIE通過建模海量數據中的實體概念等先驗語義知識，學習真實世界的語義關系。具體來說，ERNIE 模型通過對詞、實體等語義單元的掩碼，使得模型學習完整概念的語義表示。相較于 BERT 學習原始語言信號，ERNIE 直接對先驗語義知識單元進行建模，增強了模型語義表示能力。
ERNIE在多個公開的中文數據集上進行了效果驗證，包括語言推斷、語義相似度、命名實體識別、情感分析、問答匹配等自然語言處理各類任務上，均超越了語義表示模型 BERT 的效果。
更多詳細內容可以參見：
https://github.com/PaddlePaddle/LARK
特別提醒：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。
