自新G肺炎疫情爆發(fā)以來(lái)，智能疫情防控機器人以其便捷、G效、準確的特點(diǎn)迅速成為防控一線(xiàn)的有利助手。目前業(yè)界使用較多的智能疫情防控機器人主要有外呼和在線(xiàn)服務(wù)兩類(lèi)產(chǎn)品。外呼類(lèi)產(chǎn)品可以實(shí)現對重點(diǎn)用戶(hù)的電話(huà)問(wèn)詢(xún)，其批測評結果已經(jīng)發(fā)布，受到了業(yè)界的廣泛關(guān)注。在線(xiàn)服務(wù)機器人，可接受用戶(hù)主動(dòng)提問(wèn)，為用戶(hù)提供咨詢(xún)、問(wèn)診、查詢(xún)等服務(wù)，可以迅速地為用戶(hù)傳達疫情信息。為便于相關(guān)單位根據需求選擇合適的產(chǎn)品，人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（以下簡(jiǎn)稱(chēng)“聯(lián)盟”）在此前工作基礎上，依托信息通信研究院和人工智能關(guān)鍵技術(shù)和應用評測工業(yè)和信息化部重點(diǎn)實(shí)驗室，開(kāi)展了面向疫情防控在線(xiàn)服務(wù)機器人的評估測試，現將評估結果公布如下。

本輪智能疫情防控機器人（在線(xiàn)類(lèi)）評測共有15家企業(yè)報名參加，16款產(chǎn)品參與評測。聯(lián)盟通過(guò)技術(shù)測試、材料審查和企業(yè)披露等方式對參評產(chǎn)品進(jìn)行了評測。參與本輪評測的企業(yè)與產(chǎn)品見(jiàn)下表（按拼音順序排列，排名不分先后）。

阿里云計算有限公司：阿里云在線(xiàn)疫情知識問(wèn)答
北京捷通華聲科技股份有限公司：靈云智能客服系統
北京京東世紀貿易有限公司：智能疫情助理
北京容聯(lián)易通信息技術(shù)有限公司：容聯(lián)X-bot
北京搜狗科技發(fā)展有限公司：新G肺炎智能問(wèn)答機器人
杭州朗和科技有限公司：網(wǎng)易七魚(yú)疫情服務(wù)機器人
南京云問(wèn)網(wǎng)絡(luò )技術(shù)有限公司：云問(wèn)防疫問(wèn)答機器人
平安智慧城市科技股份有限公司：疫情速遞
廈門(mén)快商通科技股份有限公司：新G肺炎咨詢(xún)助手
上海智臻智能網(wǎng)絡(luò )科技股份有限公司：小i疫情智能問(wèn)詢(xún)機器人
深圳市一號互聯(lián)科技有限公司：小A智客服
深圳追一科技有限公司：疫情機器人
騰科科技（深圳）有限公司：疫情防控助手
騰訊科技（深圳）有限公司：騰訊客服
浙江同花順智能科技有限公司：同花順智能客服系統
竹間智能科技（上海）有限公司：竹間智能防疫情感機器

結果分析與建議

1、基礎功能豐富多樣，業(yè)務(wù)功能有待完善

本輪評測功能部分測試了疫情防控在線(xiàn)服務(wù)機器人的多渠道管理、富媒體消息互動(dòng)、情緒安撫等六項基礎功能指標，測試了疫情查詢(xún)、問(wèn)題咨詢(xún)、自診問(wèn)診等五項業(yè)務(wù)功能指標。下圖給出了功能部分的評測結果，列出了參評產(chǎn)品對各項指標的支持情況：

總體而言，參評產(chǎn)品在多渠道管理支持能力和富媒體消息互動(dòng)支持能力方面表現良好，所有參評產(chǎn)品均支持兩種及其以上渠道管理，G的支持達到六種，多面覆蓋了PC端和移動(dòng)端用戶(hù)。參評產(chǎn)品在會(huì )話(huà)異常處理上表現比較接近，大部分產(chǎn)品部分支持該功能，在情緒安撫功能支持上兩J化差異較明顯，多面支持和不支持數量相近，兩者合計數量占比超過(guò)八成。主要有以下三個(gè)方面的特點(diǎn)：

多渠道管理能力普遍支持較好，保障不同渠道用戶(hù)訪(fǎng)問(wèn)服務(wù)的便捷G效；
交互方式多樣化，超過(guò)半數參評產(chǎn)品支持圖像交互，信息展示更立體；
會(huì )話(huà)異常處理結合情緒安撫，有效提升了用戶(hù)情感體驗。

針對不同疫情防控場(chǎng)景，測試選取了不同的測試數據，根據產(chǎn)品對語(yǔ)料的反饋相關(guān)度設置了0-4分五J評分標準。通過(guò)測試結果得出，多數產(chǎn)品對咨詢(xún)、問(wèn)診和防控業(yè)務(wù)場(chǎng)景支持能力較好，G效回復率分別達到35.6%、40.9%、45.0%，有效回復率分別達到70.6%、63.4%、60.0%。但是在政策和新聞等信息類(lèi)業(yè)務(wù)場(chǎng)景中，多數參評產(chǎn)品得分情況較差，不能較好的反饋實(shí)時(shí)信息，這方面的能力需要繼續加強。

2、對話(huà)質(zhì)量參差不齊，性能指標有待優(yōu)化

智能疫情防控在線(xiàn)服務(wù)機器人的核心技術(shù)是自然語(yǔ)言處理和對話(huà)系統，產(chǎn)品能否準確識別對話(huà)中的關(guān)鍵詞，并理解用戶(hù)意圖成為服務(wù)效果的關(guān)鍵，因此本次評測選取意圖理解和關(guān)鍵詞識別作為核心性能指標。作為一款以自然語(yǔ)言處理為核心技術(shù)的產(chǎn)品，測試數據集的設計尤為重要，通過(guò)分析用戶(hù)對疫情信息關(guān)注的不同角度，本次測試數據集選擇咨詢(xún)、問(wèn)診、防控和信息查詢(xún)四個(gè)不同場(chǎng)景。測試使用的數百條語(yǔ)料由聯(lián)盟人員通過(guò)對疫情相關(guān)信息和知識的調研，并分析各家產(chǎn)品的特點(diǎn)后設計，涵蓋了疫情相關(guān)術(shù)語(yǔ)以及用戶(hù)比較關(guān)心的問(wèn)題。下圖給出了16款參評產(chǎn)品的性能指標測試結果（產(chǎn)品序號根據評測先后順序排列，與表1次序無(wú)關(guān)）。

總體來(lái)看，各家參評產(chǎn)品在關(guān)鍵詞識別和意圖理解能力上參差不齊，準確率G值與低值相差都超過(guò)了50個(gè)百分點(diǎn)。在關(guān)鍵詞識別能力上，有6款產(chǎn)品的準確率超過(guò)60%，基本可以識別出“新型G狀病毒”、“N95口罩”、“發(fā)燒干咳”、“密切接觸者”等疫情強相關(guān)詞匯，以進(jìn)行關(guān)鍵詞匹配和擴展，確保答復的準確性和豐富性。在意圖理解能力上，有7款產(chǎn)品的準確率超過(guò)50%，可對用戶(hù)提出的問(wèn)題有針對性的進(jìn)行答復、相關(guān)問(wèn)題推送和情緒安撫，從而提供準確、及時(shí)、有效的服務(wù)。
通過(guò)圖3中的性能指標產(chǎn)品分布情況可知，多數參評產(chǎn)品意圖理解和關(guān)鍵詞識別準確率分布在[0.2,0.4)和[0.6,0.8)，反映出參評產(chǎn)品在性能上的兩J分化，建議相關(guān)企業(yè)及時(shí)豐富疫情相關(guān)語(yǔ)料并進(jìn)行產(chǎn)品優(yōu)化，提升問(wèn)題解決率。

3、 用戶(hù)需求攀升，交互量日益增加

在本輪評測中，除上述功能和性能指標外，還統計了截至2月12日各參評產(chǎn)品的訪(fǎng)問(wèn)量、交互量以及用戶(hù)平均在線(xiàn)時(shí)長(cháng)情況。具體數據如下圖所示。

從訪(fǎng)問(wèn)量上看，超七成產(chǎn)品的總訪(fǎng)問(wèn)量達到了百萬(wàn)J，其中總訪(fǎng)問(wèn)量超過(guò)二百萬(wàn)和三百萬(wàn)的產(chǎn)品約占三成；從日均訪(fǎng)問(wèn)量上看，約70%的產(chǎn)品日均訪(fǎng)問(wèn)量在一萬(wàn)到二十萬(wàn)之間，僅有10%的產(chǎn)品突破了二十萬(wàn)大關(guān)；從交互量上看，約75%的產(chǎn)品總交互量超過(guò)了百萬(wàn)條，約78%的產(chǎn)品日均交互量超過(guò)一萬(wàn)條；從用戶(hù)平均在線(xiàn)時(shí)長(cháng)上來(lái)看，超五成產(chǎn)品達到了2分鐘以上，約37%的產(chǎn)品用戶(hù)平均在線(xiàn)時(shí)長(cháng)不足1分鐘，另外平均在線(xiàn)時(shí)長(cháng)超過(guò)3分鐘的產(chǎn)品數約占36%。

4、建議與反饋

聯(lián)盟通過(guò)分析疫情防控機器人（在線(xiàn)類(lèi)）的評測結果，結合終端用戶(hù)的實(shí)際需求，提出以下建議：

注重信息和答案的真實(shí)性和準確性：在疫情防控、政策宣貫、信息查詢(xún)等場(chǎng)景下，保證數據和問(wèn)題結果的真實(shí)性J為重要。例如：本次評測中發(fā)現，各款產(chǎn)品對“白酒能否替代酒精消毒？”的解答不盡相同，甚至得到相反的答案；

確保疫情相關(guān)知識的豐富性與時(shí)效性：如氣溶膠傳播、SARS-CoV-2等疫情術(shù)語(yǔ)的解釋及核酸檢測、人工肺等醫療手段的闡述；

適度增加富媒體消息的交互：采用圖文結合的方式，能更加清晰簡(jiǎn)潔的回復用戶(hù)提出的問(wèn)題。例如在“如何正確佩戴N95口罩？“問(wèn)題上，以圖片示意每一步佩戴操作，相對而言更為明確和具體；

適當發(fā)起多輪對話(huà)關(guān)聯(lián)上下文語(yǔ)義信息：在人機對話(huà)過(guò)程中以多輪次問(wèn)答的形式采集用戶(hù)信息，幫助用戶(hù)明確問(wèn)題，從而動(dòng)態(tài)且準確地為用戶(hù)解答并推薦相關(guān)問(wèn)題。