2020年5月底OpenAI發(fā)布了有史以來(lái)強的NLP預訓練模型GPT-3，大的GPT-3模型參數達到了1750億個(gè)參數。論文《Language Models are Few-Shot Learners》長(cháng)達74頁(yè)已發(fā)布在arXiv。
有網(wǎng)友估算大的GPT-3模型大小大約有700G，這個(gè)大小即使OpenAI公開(kāi)模型，我們一般的電腦也無(wú)法使用。一般需要使用分布式集群才能把這個(gè)模型跑起來(lái)。雖然OpenAI沒(méi)有公布論文的花費，不過(guò)有網(wǎng)友估計這篇論文大約花費了上千萬(wàn)美元用于模型訓練。
如此驚人的模型在模型的設計上和訓練上有什么特別之處嗎？答案是沒(méi)有。作者表示GPT-3的模型架構跟GPT-2是一樣的，只是使用了更多的模型參數。模型訓練也跟GPT-2是一樣的，使用預測下一個(gè)詞的方式來(lái)訓練語(yǔ)言模型，只不過(guò)GPT-3訓練時(shí)使用了更多的數據。
既然這樣，那這只怪獸特別之處是什么？GPT-3論文的核心在于下圖：
解決了傳統圖卷積神經(jīng)網(wǎng)絡(luò )中圖節點(diǎn)學(xué)習到的特征對圖分辨率和連接關(guān)系敏感的問(wèn)題，可以實(shí)現在低分辨率的三維形狀上學(xué)習特征，在高低分辨率形狀之上進(jìn)行測試，并且保持不同分辨率特征的一致性
外賣(mài)履約時(shí)間預估模型，預估的是從用戶(hù)下單開(kāi)始到騎手將餐品送達用戶(hù)手中所花的時(shí)間
記憶增強的圖神經(jīng)網(wǎng)絡(luò )對短期的商品語(yǔ)境信息建模，并使用共享的記憶網(wǎng)絡(luò )來(lái)捕捉商品之間的長(cháng)期依賴(lài)，對多個(gè)模型進(jìn)行了對比,在Top-K序列推薦中效果極佳
馬庫斯系統性地闡述了對當前AI研究界的批判，從認識科學(xué)領(lǐng)域中針對性地給出了11條可執行的建議
MIS 和RMIS觸覺(jué)傳感器最常用的傳感原理是基于電氣的傳感器。這些觸覺(jué)傳感器進(jìn)一步分為壓阻型、壓電型和電容型傳感器
應用于MIS的觸覺(jué)傳感器主要是基于電學(xué)或光學(xué)原理開(kāi)發(fā)的，應該是小尺寸和圓柱形的，可在導管的管身或尖端集成
非接觸式檢測平臺FluSense由麥克風(fēng)陣列和熱成像攝像機組成，用于捕捉不同的候診室人群行為，包括咳嗽和語(yǔ)言活動(dòng)以及候診室病人數量
通過(guò)機械機構實(shí)現機械手到工具的動(dòng)力傳遞，無(wú)需外部控制及供能，對機器人的避障路徑規劃影響極小
神經(jīng)網(wǎng)絡(luò )的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來(lái)檢驗輸入屬性變量對模型的影響程度，樣本敏感性分析用來(lái)研究具體樣本對模型的重要程度
神經(jīng)網(wǎng)絡(luò )模型本身其實(shí)并不是一個(gè)黑箱，其黑箱性在于我們沒(méi)辦法用人類(lèi)可以理解的方式理解模型的具體含義和行為
為決策樹(shù)模型是一個(gè)具有比較好的可解釋性的模型，以決策樹(shù)為代表的規則模型在可解釋性研究方面起到了非常關(guān)鍵的作用
騰訊優(yōu)圖實(shí)驗室高級研究員Louis在分享了自適應缺陷數據，業(yè)務(wù)場(chǎng)景下的神經(jīng)網(wǎng)絡(luò )訓練方法
