中國隊伍包攬前三 PAKDD 2019 AutoML挑戰賽圓滿落幕

近日，亞太地區數據挖掘領域的頂級國際會議——第23屆亞太地區知識發現與數據挖掘國際會議（Pacific Asia Knowledge Discovery and Data Mining，PAKDD）在澳門成功舉行。本次大會，南京大學人工智能學院院長周志華首先做了開幕致辭，第四范式首席科學家楊強教授、普渡大學副教授 Jennifer Neville、羅格斯大學大學終身教授熊輝、羅維拉·維爾吉利大學名譽教授 Josep Domingo-Ferrer等知名科學家先后在現場分享了對于知識挖掘領域最新的思考與技術進展。除此之外，大會另一個重要看點是由第四范式、ChaLearn、微軟、亞馬遜聯合舉辦的“PAKDD 2019 AutoML Challenge”挑戰賽，現場公布了大賽最終成績并舉行了頒獎儀式，深蘭科技 DeepBlueAI 、微軟亞洲研究院、北航組成的ML Intelligence以及清華大學的 meta_Learners 三只來自中國的隊伍包攬了本次比賽前三名，充分展示國內在AutoML研究領域的實力。

據悉，本次AutoML大賽共吸引了全球127支隊伍參加，提交超550個競賽方案，最終有31支隊伍進入決賽進行最終的比拼。比賽共分為Feedback phase、Test phase、AutoML phase三個階段，最終成績按照AutoML phase的AUC結果進行評估排序得出，前三名成績排序在Feedback phase、AutoML phase兩個階段均一致。

本次比賽題目是貼近實際應用的終身自動機器學習（AutoML for Lifelong Machine Learning），旨在解決實際應用過程中，數據分布不斷變化的動態環境給自動化機器學習帶來的難題。在設計能夠自主實現終身機器學習的方案中，需兼顧計算效率、多種特征類型、概念漂移（Concept Drift）、終身機器學習設定等諸多挑戰。

以本次大賽冠軍DeepBlueAI方案為例，囊括了自動特征工程、自動特征選擇、自動模型調參、自動模型融合等步驟的AutoML框架，并對數據類別不均衡、概念漂移、時間空間等方面進行了針對性的處理和優化，同時也有針對性的對概念漂移問題進行處理，并且利用了多種策略對運行時間和運行內存進行了有效的控制，以確保解決方案能在規定時間和有限內存下完成整個流程，并最終在挑戰賽中脫穎而出。

除了DeepBlueAI外，ML Intelligence本次參賽方案也提供另一類的方法，我們都知道AutoML系統從每一批數據的輸入到每一批的輸出，實現端到端的自動化，完全不需要人參與，其中核心是自動算法，包括自動配置，自動調參，自動特征衍生和自動篩選等。本次競賽方案中，ML Intelligence為了能適應一個長時學習和在線學習的場景，能夠適應特征或者樣本的概念漂移，提出了一種基于模型的(model based)的方法，這與傳統的基于分布(distribution based)的概念漂移檢測方法不同，不需要用人的經驗來做一些分布指標就能夠實現漂移特征的自動檢測。實際操作是訓練一個特別簡單的GBDT模型，來區分兩個時間窗的樣本，通過特征重要性排序來排序分布偏移的大小。然后為了適應場景，對高階衍生特征和原始重要特征做了不同的處理。

另外，meta_Learners團隊本次設計了一套基于梯度提升樹（Gradient Boosting Tree）、概念遷移自適應的自動機器學習（AutoML）系統。在傳統AutoML框架基礎上，結合本次比賽的特點進行了針對性的設計。首先，在特征工程方面針對類別特征高基數、長尾分布的特點采用了頻數編碼；并設計了自動特征工程模塊，可以針對不同數據集的特點，高效地提取出有助于提升模型預測效果的多種特征組合；在概念遷移自適應方面，采用自適應的流式協同編碼技術，提高數據集的表征一致性，從而提升了預測性能。在超參數調節上，團隊設計了一種結合了先驗知識和自動搜索的層次化自動調參策略，從而保障整個系統運行的效率和魯棒性。

對于本次挑戰賽取得成績以及方案效果，大賽負責人、第四范式資深算法科學家涂威威表示：盡管大賽周期覆蓋了中國春節假期以及學生的期末放假時期，整個參賽隊伍的提交量依然超過了去年的NeurIPS的AutoML比賽，大家競爭非常激烈；同時，由于NeurIPS 2018的冠軍隊伍也公布了他們的方案，我們也看到這一屆的前三效果都遠遠超出了NeurIPS 2018年的冠軍解決方案效果；在整體方案上，這次前三在時序特征處理、不平衡數據處理以及對概念漂移問題的處理相比NeurIPS AutoML的解決方案都有了非常多的創新與進步。未來希望大家更積極踴躍參加今后的AutoML比賽，共同推動AutoML技術在AI產業中落地和應用。

近年來，AutoML學術研究和應用逐漸從前沿研究邁入了行業主流發展的階段，越來越多的研究機構和企業都紛紛開始AutoML的研究工作，以國外ChaLearn、Google和國內第四范式為代表的AutoML先行者則不遺余力推動行業發展和應用落地。PAKDD 2019 AutoML挑戰賽是今年AutoML的首場挑戰賽，接下來會迎來今年KDD CUP 2019 AutoML和 NeurIPS 2019 AutoDL兩場AutoML年度大賽，其中KDD CUP是首次舉辦AutoML挑戰賽，不僅開創了該項賽事22年歷史的先河，更印證了AutoML進入學術研究和行業應用的上升期。

值得欣慰的是，AutoML在國內的發展一直處于領先水平，在以第四范式為代表國內AI企業的積極帶動和默默耕耘下，一方面將技術研究成果迅速落地實際生產應用，另一方面與海外頂級學術組織聯合，在全球范圍內的頂級會議中組織AutoML競賽，大力推動行業發展，成為了AutoML技術身后最堅定有力的支持者。本次PAKDD 2019 AutoML競賽前三名被中國隊包攬，充分展示了中國在AutoML領域的示范力量。