在自然語(yǔ)言處理技術(shù)的應用和研究L域發(fā)生了許多有意義的標志性事件，我們將從“技術(shù)進(jìn)展”、“應用與產(chǎn)品”兩大維度進(jìn)行回顧。

2019 年，技術(shù)進(jìn)展方面主要體現在預訓練語(yǔ)言模型、跨語(yǔ)言 NLP/無(wú)監督機器翻譯、知識圖譜發(fā)展 + 對話(huà)技術(shù)融合、智能人機交互、平臺廠(chǎng)商整合AI產(chǎn)品線(xiàn)。

1  預訓練語(yǔ)言模型

隨著(zhù) 2018 年底 Google 提出預訓練語(yǔ)言模型 BERT，在多項 NLP 任務(wù)上獲得更優(yōu)效果，預訓練語(yǔ)言模型的研究與應用被學(xué)術(shù)界和工業(yè)界視為 NLP L域的一項重大突破，將 NLP 問(wèn)題的解決方式從以往的為每個(gè)任務(wù)單獨設計復雜的模型逐漸演變成了預訓練 + 微調的范式，讓眾多 NLP 應用能夠享受到大語(yǔ)料預訓練模型帶來(lái)的紅利，在通用的預訓練模型的基礎上加入簡(jiǎn)單的任務(wù)層，并結合自己場(chǎng)景的少量語(yǔ)料就可以獲得一個(gè)不錯的L域 NLP 模型。

至此開(kāi)啟了自然語(yǔ)言處理的新篇章。

在 2019 年，各個(gè)研究機構和公司在 BERT 的基礎上進(jìn)一步創(chuàng )新，紛紛提出了自己的預訓練模型，如：Facebook 發(fā)布的 RoBERTa，CMU 發(fā)布的 XLNet，Stanford 發(fā)布的 ELECTRA，還有百度的 ERNIE 模型，阿里的 structBERT 模型， 華為的 NEZHA，哈工大和科大訊飛也都提出了自己的模型，不斷刷新 NLP 任務(wù)的好成績(jì)。

這新的工作總結起來(lái)，主要來(lái)自訓練任務(wù)設計和訓練算法兩個(gè)方面。

訓練任務(wù)設計

進(jìn)行更加精細的語(yǔ)義粒度建模，包括引入更細粒度的建模對象和更加精細的刻畫(huà)語(yǔ)義關(guān)聯(lián)。

比如 “全詞 Mask” 或者 “Knowledge Masking”，技術(shù)在 MLM 預訓練任務(wù)中 Mask 整個(gè)詞而不是單個(gè) Token，進(jìn)而提升了任務(wù)難度使得 BERT 學(xué)到更多語(yǔ)義信息,哈工大和科大訊飛聯(lián)合發(fā)布的中文 BERT 模型以及 NEZHA 模型中得到了應用；再比如引入更多類(lèi)型的句間關(guān)系，從而能夠更加準確描述語(yǔ)義關(guān)聯(lián)性，進(jìn)而提升語(yǔ)義匹配等方面能力，這在阿里和螞蟻團隊的 BERT 模型中得到體現。

利用新的機器學(xué)習方法建模

包括 CMU 和 Google 聯(lián)合發(fā)布的 XLNet 使用了 Autoencoder 和 Auto-regressive 兩種方案；斯坦福大學(xué)提出的 ELECTRA 模型，引入對抗機制來(lái)進(jìn)行更好的 MLM 學(xué)習。華盛頓大學(xué)和 Facebook 聯(lián)合發(fā)布的 SpanBERT 模型還引入了 Span 預測任務(wù)。這些方案應用更學(xué)習方法來(lái)建模文字之間的聯(lián)系，從而提升模型效果。

訓練算法設計

針對模型的易用性的問(wèn)題，減少模型參數，或者降低模型的復雜度，包括 Google 發(fā)布的 ALBERT 使用了詞表 embedding 矩陣的分解與中間層的共享。

提G訓練速度的優(yōu)化

包括混合精度訓練，用 FP16 來(lái)進(jìn)行權重，激活函數和梯度等的表示；LAMB 優(yōu)化器通過(guò)一個(gè)自適應式的方式為每個(gè)參數調整 learning rate，模型訓練能夠采用很大的 Batch Size; 這些方法J大地提G了訓練速度。

阿里的 structBERT 模型通過(guò)引入更多模型和任務(wù)結構化信息，提升語(yǔ)言表示能力。在Gluebench mark 上多次名列前矛和保持L先位置。通過(guò)蒸餾和 CPU 加速，RT 提G了 10x，finetuned 的模型給多個(gè)業(yè)務(wù)場(chǎng)景帶來(lái)了明顯提升，上線(xiàn)了 AliNLP 平臺。

預訓練語(yǔ)言模型在大規模無(wú)監督文本上進(jìn)行預訓練，將得到的詞和句子的表示遷移到廣泛的下游任務(wù)上，包括文本匹配，文本分類(lèi)，文本抽取，閱讀理解，機器問(wèn)答等不同的場(chǎng)景。如阿里語(yǔ)言模型在 MS MARCO 問(wèn)答評測，TREC Deep Learning 評測上都取得了D一名的好成績(jì)。

下游的任務(wù)可以在低資源的情況下快速獲得一個(gè)不錯的解決方案，J大的提升了 NLP 算法的應用落地能力。

2  跨語(yǔ)言 NLP/無(wú)監督機器翻譯

作為預訓練語(yǔ)言模型的擴展，Facebook 的研究人員提出了跨語(yǔ)言的語(yǔ)言模型預訓練 “Cross-lingual Language Model Pretraining”，僅使用單語(yǔ)數據的無(wú)監督訓練和使用平行語(yǔ)料的有監督訓練的條件下，模型有效學(xué)習了跨語(yǔ)言文本表征，在多語(yǔ)言分類(lèi)和無(wú)監督機器學(xué)習等任務(wù)上，都比之前的優(yōu)結果有顯著(zhù)的提升。

繼 2018 年 Google 預訓練語(yǔ)言模型 BERT 橫掃 主流 NLP 任務(wù)之后，2019 年  Facebook 發(fā)布了新型跨語(yǔ)言預訓練語(yǔ)言模型 XLM，實(shí)現不同語(yǔ)言在統一嵌入空間的表征共享，并在無(wú)監督機器翻譯任務(wù)上帶來(lái)顯著(zhù)的質(zhì)量提升。在探索大規模、多語(yǔ)言神經(jīng)機器翻譯方向上，Google、阿里巴巴等進(jìn)行了有效探索，通過(guò)同時(shí)在數十乃至數百種語(yǔ)向的平行語(yǔ)料上訓練一個(gè)模型，而不是對各個(gè)語(yǔ)向分別建模，實(shí)現語(yǔ)義映射關(guān)系共享，不僅壓縮了模型數量，同時(shí)普遍提升了小語(yǔ)種翻譯效果。

過(guò)去一年來(lái)，多語(yǔ)言 NLP 技術(shù)的研究成果主要集中在機器翻譯（特別是無(wú)監督的機器翻譯），跨語(yǔ)言詞向量，多語(yǔ)言 NER，依存句法分析，詞對齊和多語(yǔ)言詞典生成等方向。

由于跨語(yǔ)言詞向量的學(xué)習/映射是其中的關(guān)鍵步驟，目前的無(wú)監督/跨語(yǔ)言的 NLP 任務(wù)在相近的語(yǔ)言之間（如英語(yǔ)/法語(yǔ)，英語(yǔ)/西班牙語(yǔ)等）效果好，在不同的語(yǔ)言家族間（如英語(yǔ)/越南語(yǔ)）效果還是有較大提升空間。

3  知識圖譜發(fā)展+對話(huà)技術(shù)融合

隨著(zhù)數據量的積累和應用對數據質(zhì)量和結構要求的提升，近幾年知識圖譜又成為一項熱點(diǎn)技術(shù)開(kāi)始被關(guān)注。

知識圖譜技術(shù)L域在 2019 年的發(fā)展，包括L域知識圖譜的構建和整合（金融、企業(yè)等）、圖譜平臺化標準能力的建設（schema 定義 + 構建 + 調用）、圖譜應用算法建設（基于圖譜數據的圖模型 + 規則推理等）；并基于構建的圖譜數據和能力，開(kāi)始在更多的業(yè)務(wù)場(chǎng)景得到應用（搜索推薦內容理解和挖掘、金融風(fēng)控和決策、對話(huà)理解和內容生成等）。

在知識圖譜和對話(huà)結合的技術(shù)方向，對話(huà)技術(shù)在問(wèn)答和任務(wù)式對話(huà)近幾年已形成了一定的技術(shù)框架和業(yè)務(wù)覆蓋，開(kāi)始需要解決一些對知識理解 + 答案專(zhuān)業(yè)性要求更G的L域場(chǎng)景（理財助理等）。

對話(huà)技術(shù)結合知識圖譜的L域知識完整度 + 結構化質(zhì)量?jì)?yōu)勢來(lái)進(jìn)行覆蓋，可以解決相應場(chǎng)景下語(yǔ)料標注（意圖理解）和專(zhuān)家配置（對話(huà)流程 + 響應生成）上的不足，進(jìn)一步提升對話(huà)覆蓋和響應質(zhì)量。融合知識圖譜對話(huà)這個(gè)方向，在 2020 年會(huì )有更多的真實(shí)場(chǎng)景落地和覆蓋。

4  智能人機交互

自然語(yǔ)言理解和深度問(wèn)答匹配技術(shù)在學(xué)術(shù)和工業(yè)界持續發(fā)發(fā)展，并且已經(jīng)在全域業(yè)務(wù)和場(chǎng)景有了大規模應用，基于預訓練語(yǔ)言模型進(jìn)一步帶來(lái)性能的提升。

機器閱讀理解成為低成本通用技術(shù)，圍繞百科、政策法規、商品詳情頁(yè)、說(shuō)明書(shū)等場(chǎng)景構建應用中臺能力，接入效率有了很大提升。結合圖-文的多模態(tài) VQA 問(wèn)答技術(shù)在行業(yè)中率先孵化，理解商品詳情頁(yè)長(cháng)圖進(jìn)行問(wèn)答成為一項新的競爭力。

對話(huà)（Dialog）技術(shù)能力進(jìn)一步發(fā)展，但是在端到端的基于數據驅動(dòng)的對話(huà)狀態(tài)跟蹤和對話(huà)策略還是只能在限定范圍內進(jìn)行探索，工業(yè)場(chǎng)景基于對話(huà)平臺構建的任務(wù)型機器人成為了主流的實(shí)現方案。

多語(yǔ)言技術(shù)實(shí)現新語(yǔ)言的快速拓展，基于 Cross-Lingual 構建多語(yǔ)言語(yǔ)言模型，在遠距離語(yǔ)言對在英 -> 中、英 -> 泰遠距離語(yǔ)言對上超越 Google，拓展一個(gè)新語(yǔ)言從去年的 2 個(gè)月縮短到 2 周。

對話(huà)生成技術(shù)開(kāi)始取得突破，基于結構化知識的引入提升生成的可控性，賣(mài)點(diǎn)的生成帶來(lái)導購轉化率的提升。

5  平臺廠(chǎng)商整合AI產(chǎn)品線(xiàn)

隨著(zhù) AI 技術(shù)發(fā)展和 AI 應用的需求，AI 技術(shù)框架的成熟（Tensorflow、PyTorch等），AI 技術(shù)能力逐漸被標準化為一系列 AI 平臺類(lèi)產(chǎn)品，面向企業(yè)和開(kāi)發(fā)者，提供更低門(mén)檻和更G效率的 AI 應用支持。

對話(huà)類(lèi)平臺，Google 從 2016 年開(kāi)始發(fā)布 Assistant 對話(huà)助手，這幾年陸續發(fā)布了 Google Home（現在整合到 Nest 智能家居品牌），Duplex 語(yǔ)音電話(huà)，以及收購了 API.AI 對話(huà)開(kāi)發(fā)平臺；今年 Google 已基本整合這些對話(huà)產(chǎn)品線(xiàn)，基本布局了對話(huà)現有的平臺 + 終端，現成一個(gè)整體的對話(huà)產(chǎn)品線(xiàn)。

AI 類(lèi)平臺方面，Amazon 自 2017 年發(fā)布 SageMaker 機器學(xué)習平臺產(chǎn)品，今年進(jìn)一步基于 SageMaker 整合 AI 開(kāi)發(fā)過(guò)程，同時(shí)打通下游技術(shù)框架和上游 AI 應用，整合 AI 產(chǎn)品線(xiàn)。類(lèi)似阿里的機器學(xué)習平臺 PAI，定位成面向企業(yè)和開(kāi)發(fā)者的一站式機器學(xué)習平臺。

2019 年，應用與產(chǎn)品方面主要體現在機器翻譯、對話(huà)系統、多輪對話(huà)智能服務(wù)、智能語(yǔ)音應用持續發(fā)展。

6  機器翻譯

機器翻譯的產(chǎn)品發(fā)展延續了之前的趨勢，在通用L域（新聞），特定L域（電商，醫療等）擴展了更多的語(yǔ)言方向，支持了更豐富的業(yè)務(wù)場(chǎng)景，并持續帶來(lái)商業(yè)價(jià)值。阿里巴巴在翻譯干預和智能泛化方向進(jìn)行了卓有成效的探索，把業(yè)務(wù)知識更好地融合到神經(jīng)網(wǎng)絡(luò )翻譯框架中，大大提升了垂直場(chǎng)景下關(guān)鍵信息的翻譯準確率。

G價(jià)值和G敏感內容的翻譯目前仍離不開(kāi)人工，因此在計算機輔助翻譯（CAT）引入智能算法實(shí)現人機協(xié)同翻譯，以及機器翻譯后編輯（MTPE）等新型生產(chǎn)模式，也受到越來(lái)越多的關(guān)注。阿里巴巴、騰訊在自動(dòng)后編輯（APE）、交互式翻譯（IMT）都開(kāi)始有產(chǎn)品推出，并在實(shí)際業(yè)務(wù)中落地。

除了文本翻譯之外，更多的多模態(tài)翻譯應用場(chǎng)景出現，如語(yǔ)音翻譯在會(huì )議同傳，雙語(yǔ)字幕，翻譯機硬件上的嘗試（阿里二十周年年會(huì )上馬老師和逍遙子演講也以實(shí)時(shí)雙語(yǔ)字幕的形式展示）。

結合 OCR，機器翻譯和合圖技術(shù)的圖片翻譯在支付寶掃一掃，微信，搜狗翻譯機上得到應用。隨著(zhù)賣(mài)家直播的興起，直播視頻翻譯的場(chǎng)景和需求也會(huì )越來(lái)越多。但是受限于直播場(chǎng)景中復雜的L域，專(zhuān)業(yè)的術(shù)語(yǔ)，快速的語(yǔ)速和有時(shí)嘈雜的背景環(huán)境，直播翻譯對于語(yǔ)音識別和機器翻譯的挑戰也是非常巨大。

7  對話(huà)系統

對話(huà)系統的語(yǔ)言覆蓋進(jìn)一步提升，基于多語(yǔ)言遷移能力快速拓展了法語(yǔ)、阿拉伯語(yǔ)、臺灣話(huà)的對話(huà)系統，目前已支持 11 個(gè)語(yǔ)種，及馬來(lái)語(yǔ)-英語(yǔ)和泰語(yǔ)-英語(yǔ)的混合語(yǔ)言理解，為 Lazada 和 AE 帶來(lái)解決率的大幅提升。

對話(huà)系統支持了更大規模的商家和企業(yè)，支撐了超過(guò) 50+ 的集團經(jīng)濟體客戶(hù)，店小蜜拓展了通用包、行業(yè)包、店鋪包的知識定位能力，累計承載百萬(wàn)級活躍商家，日均千萬(wàn)級對話(huà)輪次。釘釘小蜜基于企業(yè)智能助理承載了 40W 日均活躍企業(yè)。

對話(huà)系統的交互形式進(jìn)一步豐富，直播小蜜實(shí)現了從商品相關(guān)問(wèn)題的被動(dòng)回答，到主動(dòng)和用戶(hù)展開(kāi)開(kāi)放式對話(huà)的轉變，帶來(lái) cdau 破百萬(wàn)。

VQA 等多模態(tài)理解能力落地店小蜜及經(jīng)濟體小蜜，提升用戶(hù)交互體驗的同時(shí)大幅降低商家配置成本。

熱線(xiàn)小蜜的語(yǔ)音交互能力作為典型案例獲 2019MIT Technology Reviewer 十大突破技術(shù)提名，并沉淀了面向多L域的外呼場(chǎng)景，并在多個(gè)生態(tài)輸出。

8  多輪對話(huà)智能服務(wù)

多輪交互在智能服務(wù)場(chǎng)景（客服機器人）在解決用戶(hù)模糊問(wèn)題，提G用戶(hù)使用體驗方面起到的重要的作用。模糊問(wèn)題指用戶(hù)問(wèn)題描述不完整，如 “怎么開(kāi)通” ，這句話(huà)沒(méi)有說(shuō)明是哪個(gè)業(yè)務(wù)，這類(lèi)問(wèn)題占客服機器人總提問(wèn)量的 30%。

螞蟻智能服務(wù)團隊設計了基于標簽的多輪交互方案，首先離線(xiàn)挖掘標簽，并審核，標簽包括業(yè)務(wù)標簽（花唄，備用金...）和訴求標簽（怎么開(kāi)通，如何還款...），通過(guò)向用戶(hù)反問(wèn)標簽列表的形式澄清用戶(hù)問(wèn)題。

已有的問(wèn)題澄清方法主要通過(guò)直接推薦完整澄清問(wèn)題的方案，但定義什么是好的澄清問(wèn)題仍然不明確，螞蟻團隊設計了一個(gè)基于強化學(xué)習推薦標簽列表的方案做問(wèn)題澄清，整個(gè)標簽推薦是一個(gè)序列決策的過(guò)程，在用戶(hù)點(diǎn)擊了標簽之后，我們會(huì )把點(diǎn)擊的標簽和原始的用戶(hù)問(wèn)題一起作為澄清后的問(wèn)題。

整個(gè)優(yōu)化的目標是，目標是大化整個(gè)標簽列表對潛在澄清問(wèn)題的覆蓋率，同時(shí)保持不同標簽對潛在澄清問(wèn)題集合的有效劃分，因此，在強化學(xué)習過(guò)程中，相應設計了基于信息增益的獎勵（Reward）。

基于強化學(xué)習方法的多輪交互上線(xiàn)后，螞蟻客服機器人場(chǎng)景共解決了 33% 的模糊問(wèn)題，機器人綜合場(chǎng)景轉人工率J對下降 1.2%。

9  人機對話(huà)構建新的交互入口

場(chǎng)景驅動(dòng)的個(gè)性化多輪對話(huà)技術(shù)，助推人機對話(huà)場(chǎng)景擴充，同時(shí)語(yǔ)音語(yǔ)義一體化的上下文語(yǔ)義理解技術(shù)，持續提升多輪對話(huà)達成率。

天貓精靈在過(guò)去一年中，將人機對話(huà)能力擴充到二哈電話(huà)助手，語(yǔ)音購物，新人使用引導等復雜的交互場(chǎng)景，更是在雙十一期間，創(chuàng )造了語(yǔ)音購物 100 萬(wàn)訂單的記錄。

天貓精靈在去年的 315 推出了防騷擾電話(huà)助手 “二哈”，開(kāi)啟了全新的人機對話(huà)交互場(chǎng)景：作為用戶(hù)的替身完成對話(huà)�！岸�哈” 的對話(huà)場(chǎng)景是在垂直L域內的開(kāi)放式多輪對話(huà)，目的是通過(guò)對話(huà)來(lái)識別來(lái)電意圖，并代替用戶(hù)來(lái)獲取必要信息。在 “二哈” 中我們提出了基于多輪對話(huà)上下文的機器閱讀理解技術(shù)，用以理解來(lái)電意圖和關(guān)鍵信息；基于對于來(lái)電內容的理解，我們基于 Transformer 構建了對話(huà)策略模型，用以選擇策略和生成對話(huà)。針對 “二哈” 的對話(huà)場(chǎng)景，我們提出使用圖靈測試通過(guò)率來(lái)衡量對話(huà)的質(zhì)量，亦即當來(lái)電在整個(gè)對話(huà)中都沒(méi)有意識到是機器在與其通話(huà)時(shí)，可以認為 “二哈” 通過(guò)了圖靈測試�！岸�哈” 目前的圖靈測試通過(guò)率達到了 87%，有效的幫助了用戶(hù)應對陌生來(lái)電，節省用戶(hù)時(shí)間。

通過(guò)人機對話(huà)的方式去完成復雜的任務(wù)，比如點(diǎn)咖啡、購物等，往往需要機器和用戶(hù)進(jìn)行多次對話(huà)交互，同時(shí)在不同的任務(wù)場(chǎng)景下，對話(huà)機器人需要掌握各自L(fǎng)域的知識，才能和用戶(hù)對答如流。比如在語(yǔ)音購物場(chǎng)景，天貓精靈具備跨行業(yè)的智能導購員能力，吸收各行業(yè)導購員的銷(xiāo)售經(jīng)驗，在用戶(hù)進(jìn)行語(yǔ)音購物的時(shí)候，以終的成交轉化為目標，像商場(chǎng)的銷(xiāo)售員一樣主動(dòng)進(jìn)行多輪對話(huà)形式的購物引導，深入挖掘用戶(hù)購物需求并結合用戶(hù)畫(huà)像進(jìn)行準確推薦。且對不同的用戶(hù)，天貓精靈可以采用適合 TA 的對話(huà)方式，做到個(gè)性化多輪對話(huà)。

多輪對話(huà)的達成，是建立在一系列的單輪交互都達成的基礎上的，而如果整體任務(wù)的達成率是簡(jiǎn)單的單輪達成率的乘積關(guān)系的話(huà)，多輪對話(huà)的達成率將很難提升。而打破簡(jiǎn)單乘積關(guān)系的關(guān)鍵在于，每一輪對話(huà)理解的時(shí)候，需要充分利用上下文信息。

在天貓精靈上，我們進(jìn)行了上下文語(yǔ)音語(yǔ)義理解的探索。首先在語(yǔ)音解碼的環(huán)節，我們將多輪對話(huà)中，上文提到的實(shí)體信息構建成 memory，通過(guò) attention 機制讓解碼器網(wǎng)絡(luò )感知到這些對話(huà)場(chǎng)景信息，顯著(zhù)提升了多輪對話(huà)場(chǎng)景的語(yǔ)音識別精度，然后在語(yǔ)義理解環(huán)節，我們獨創(chuàng )了具備跨輪 attention 能力的端到端上下文繼承模型，實(shí)現更G效的對話(huà)場(chǎng)景恢復的能力。從而讓線(xiàn)上多輪對話(huà)的錯誤率下降了 58.5%，有效保障了復雜多輪對話(huà)場(chǎng)景的擴充。

10  智能語(yǔ)音應用持續發(fā)展

智能音箱，近幾年基本上國內外大玩家都已陸續進(jìn)入市場(chǎng)（Amazon Alexa、Google Home/Nest、天貓精靈、小米小愛(ài)、百度小度），2019 年進(jìn)入競爭格局；2019 年智能音箱出貨量仍然在增加，但增速下降。

智能音箱仍然以音樂(lè )播放等軟件類(lèi)服務(wù)為主，但進(jìn)一步應用創(chuàng )新仍依賴(lài)智能家居和 IoT 設備的進(jìn)一步普及。

智能語(yǔ)音電話(huà)，2018 年 Google I/O 大會(huì )展示了 Duplex 的語(yǔ)音電話(huà)助手 demo。2019 年智能語(yǔ)音電話(huà)開(kāi)始更多地應用到真實(shí)業(yè)務(wù)L域，包括電銷(xiāo)、金融、政務(wù)等L域的應用都在增長(cháng)，以提升用戶(hù)服務(wù)覆蓋+降低人工成本。

螞蟻智能語(yǔ)音電話(huà) 2019 年也在安全（核身）、金融（保險回訪(fǎng)、微貸催收）、支付（客戶(hù)激活）等更多金融場(chǎng)景應用和落地。

智能語(yǔ)音類(lèi)應用，所面向的用戶(hù)場(chǎng)景強依賴(lài)對話(huà)語(yǔ)音交互，推動(dòng)了 NLP 技術(shù)和語(yǔ)音技術(shù)的發(fā)展；隨著(zhù)技術(shù)和產(chǎn)品的發(fā)展成熟，以及用戶(hù)接受度的提G，2020 年的應用規模和L域會(huì )進(jìn)一步擴大。