科技改變生活 · 科技引領未來
科技改變生活 · 科技引領未來
谷歌大腦和卡內基梅隆大學(Carnegie Mellon University)的一組研究人員本周介紹了XLNet，這是一種人工智能模型，能夠在20項NLP任務中勝過谷歌的前沿BERT，并在18項基準測試任務中獲得最先進的結果。BERT(來自Transform的雙向編碼器表示)是谷歌的語言表示模型，用于NLP模型的無監督預訓練，于去年秋天首次引入。
XLNet在幾個任務中實現了最先進的性能，包括7個GLUE語言理解任務、3個閱讀理解任務(比如SQuAD)和7個文本分類任務(包括處理Yelp和IMDB數據集)。與BERT相比，使用XLNet進行文本分類的錯誤率顯著降低了16%。2018年秋，谷歌開放了BERT的源代碼。
XLNet利用了最佳的自回歸和自編碼方法，這些方法用于無監督的預訓練，在arXiv周三發表的一篇論文中詳細介紹了各種技術。
“XLNet是一種廣義的自回歸前訓練方法，它通過最大化因子分解順序所有排列的期望可能性來實現雙向上下文學習，并且[……]克服了BERT的局限性，這得益于它的自回歸公式，”論文寫道。
這個模型的名字來源于Transformer-XL，這是一個自回歸模型，今年1月由同一組研究人員發布。XLNet采用Transformer-XL的片段遞歸機制前訓練方法和相關編碼方案。該模型還借鑒了NADE，后者是由來自谷歌DeepMind、Twitter和學術界的研究人員創建的，用于其排列語言建模方法。
XLNet是最近出現的性能優于BERT的NLP模型。微軟人工智能研究人員在5月份引入了多任務深度神經網絡(MT-DNN)。該模型以BERT為基礎，但在大量理解GLUE語言的基準性能任務上取得了較好的性能。
丁悅明