V9產(chǎn)品挖掘篇 -- 機器學(xué)習(xí)，預(yù)測未來

【天極網(wǎng)IT新聞頻道】在剛剛過去的Smartbi V9新品發(fā)布會上，多位嘉賓為我們帶來的精彩演講在現(xiàn)場引起了熱烈反響，小麥從本周開始選取一些整理成文，與未能到場的麥粉們一起分享。現(xiàn)在分享的是Smartbi資深顧問杜健航所作《V9產(chǎn)品挖掘篇 -- 機器學(xué)習(xí)，預(yù)測未來》的演講。

如剛才我們的CEO所說，目前智能BI的潮流是不可逆轉(zhuǎn)的，我們公司一直是站在潮頭。去年我在廣州塔那邊跟大家分享了智能助手小麥，那是代表了我們在智能BI自然語言分析這一方向的努力和成果。今天，我想介紹的是我們的另外一個方向：數(shù)據(jù)挖掘。這個詞有點偏技術(shù)，因此，我在開篇準(zhǔn)備了兩個故事，這也是我們最近做的兩個項目，將有助于大家對“數(shù)據(jù)挖掘”的了解。

　【故事】

　　一、銀行客戶流失預(yù)警

銀行面臨同質(zhì)化競爭的市場環(huán)境，存款的利息都差不多，客戶忠誠度也不會很高，現(xiàn)在去拉一個新客戶的成本是遠(yuǎn)遠(yuǎn)高于維護老客戶的成本。因此，很多銀行都對防止客戶流失很重視。這家銀行當(dāng)時找到我們說，他們有一些歷史數(shù)據(jù)，希望我們能從中預(yù)測出客戶流失的概率。這些歷史數(shù)據(jù)有客戶的固有屬性，如年齡、性別等，有行為屬性，如銀行卡收支情況、銀行APP使用情況，還有其它相關(guān)的屬性。接到這個需求以后，我們把工程師塞進了甲方的小黑屋，一周后他們提交了一個分析模型，這個模型用甲方提供的1000份歷史數(shù)據(jù)測試，準(zhǔn)確率達到 86%。然后基于這個模型，為銀行的客戶建立了標(biāo)簽，分為：流失客戶、動搖客戶、忠誠客戶3類。根據(jù)這3類標(biāo)簽，銀行可以采取不同的措施。最后銀行針對“動搖客戶”進行二次細(xì)分，然后進行針對性關(guān)懷和獎勵，成功挽留了 50%以上的客戶，大大節(jié)省了投入成本。

　二、違章建筑識別

第二個故事與城市管理有關(guān)。大家知道在城市管理中，有一個重要的工作內(nèi)容是違章建筑處理。違建處理首先要去調(diào)查與識別哪個是違建，這是一件工作量大，周期長，且有危險性的工作。當(dāng)前違章的識別是被動式的，靠舉報然后人工去查證，我們客戶想尋求用技術(shù)手段來提高效率。于是我們又把工程師塞進了小黑屋，這次他們一個月后才走出來，因為這次的難度比上一個需求高了不少。這個模型對圖片的建筑識別率達到了 90%以上，同時該模型還能對建筑范圍進行標(biāo)定。這里是一個中間結(jié)果圖片，那些被虛線框起來的就是模型所識別的一個個建筑物，深紅色部分就是一個可能違章的建筑，疑似違法擴建。可以看到我們實現(xiàn)了客戶的需求，客戶因此大大節(jié)省了人力，提升了處理速度。原來三四十人的巡查隊，變?yōu)榱宋辶说臒o人機操作與數(shù)據(jù)處理人員。從這個故事可以表明我們具有應(yīng)用高級算法定制客戶專屬的圖像識別能力，也可以應(yīng)用到其它場景如公眾場所人流預(yù)警，商場貨架補貨提醒。

三、全新挖掘模塊

我剛才提到工程師為客戶需求建立的各種分析模型，就是基于我們的Smartbi V9全新的數(shù)據(jù)挖掘模塊Smartbi Mining。這也是今天我要介紹的主要內(nèi)容。在過去的十多年里，Smartbi的產(chǎn)品團隊在傳統(tǒng)BI、自助BI領(lǐng)域，將強大功能與簡捷易用結(jié)合在一起帶給我們的客戶。今天，我們希望在智能BI、數(shù)據(jù)挖掘領(lǐng)域能給大家?guī)硗瑯拥母惺堋?/p>

四、Smartbi Mining的優(yōu)點

Smartbi Mining操作起來非常簡單，建模、訓(xùn)練、部署等都是在一個界面完成。業(yè)務(wù)人員可以參與，整個過程很直觀。里面有很多內(nèi)置的模型算法，模型參數(shù)也是默認(rèn)調(diào)整到最優(yōu)狀態(tài)，大大降低了使用門檻。而且，系統(tǒng)隨時可以擴展，處理海量數(shù)據(jù)也不會出現(xiàn)問題。

【功能簡介】

　　一、數(shù)據(jù)源與數(shù)據(jù)處理

Smartbi Mining可以輕松接入各種大數(shù)據(jù)場景下的數(shù)據(jù)源，如Hadoop、Spark，也包括阿里云、華為的數(shù)據(jù)源，傳統(tǒng)的Smartbi數(shù)據(jù)源也可以無縫集成。也就是說，無論是結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，我們都可以拿來進行挖掘。在數(shù)據(jù)處理方面，無論是常規(guī)的要求，還是高級的要求，如One-Hot編碼、特征離散等都能滿足。

　二、可視化挖掘

如果大家有一些挖掘項目經(jīng)驗的話，就會知道經(jīng)歷是比較痛苦的。基本上是純技術(shù)人員的工作，就是敲代碼，業(yè)務(wù)人員是很難參與的，只能最后拿一個結(jié)果。這種做法要么實施周期很長，要么就是得出來的結(jié)果難以理解，要么就是完全訂制調(diào)整不了，這些問題現(xiàn)在都能解決。Smartbi Mining是完全通過拖拉拽建模，整個過程、結(jié)果都可以看得到，業(yè)務(wù)人員是可以參與的。

三、內(nèi)置大量經(jīng)典算法

Smartbi Mining包含五大類算法，分別是分類算法、回歸算法、聚類算法、文本分析和深度學(xué)習(xí)。更重要的是，這些組件算法是可擴充的，客戶可以根據(jù)應(yīng)用場景去訂制其它的算法。

　四、算法與模型

市面上很多挖掘產(chǎn)品并不能支持企業(yè)級、大團隊開發(fā)，要支持企業(yè)級挖掘應(yīng)該有什么能力？我認(rèn)為需要具備3點。第一，我們能將模型進行單獨的保存與使用，這樣就能使模型訓(xùn)練調(diào)優(yōu)與模型使用分離，便于大型項目開展;第二，在企業(yè)級開發(fā)會嘗試多種模型，甚至是聯(lián)合使用模型，能使多個模型一起工作;第三，你所做的所有工作都是能一鍵導(dǎo)入、導(dǎo)出，環(huán)境遷移十分簡便。Smartbi Mining具備這些特性，所以才能說是支持企業(yè)級挖掘。

五、服務(wù)發(fā)布

在挖掘項目中，將模型部署生產(chǎn)是最后一公里，這是一個繁瑣的過程，但在Smartbi Mining中已經(jīng)成為過去。用戶可以一鍵完成部署，將訓(xùn)練好的模型部署成為Web服務(wù)，然后直接通過調(diào)用該API向其發(fā)送數(shù)據(jù)，獲取預(yù)測結(jié)果。Smarbi Mining還能對所有部署的服務(wù)進行統(tǒng)一管理，直接通過界面控制服務(wù)的啟停。也支持修改服務(wù)的配置信息，例如服務(wù)別名、服務(wù)描述，對于管理員十分的簡便。

六、小結(jié)

從我上面對挖掘功能的介紹中，大家了解到Smartbi這次發(fā)布的是一個一體化的數(shù)據(jù)挖掘模塊，提供從數(shù)據(jù)處理、建模到發(fā)布投產(chǎn)、運維管理的全流程支持，一個界面完成。同時它是一個全能型模塊，能滿足各方面人群的使用需求，無論你是數(shù)據(jù)挖掘?qū)＜遥€是有一定經(jīng)驗的技術(shù)人員，或者是沒有任何經(jīng)驗的業(yè)務(wù)用戶，相信都可以輕松使用，并從中受益。

【挖掘?qū)嵺`】

產(chǎn)品這么強大又易用，我估計臺下已經(jīng)有客戶在考慮實踐挖掘的項目了，下面我簡單介紹一下一個挖掘項目是如何落地的。

一、挖掘?qū)嵤┝鞒?/strong>

通常來說是挖掘項目都能劃分為 4個步驟。首先是確定商業(yè)目標(biāo)，這個目標(biāo)同時要具備業(yè)務(wù)定義與技術(shù)定義，例如我們前面提到的預(yù)測客戶的流失概率，就是一個明確的目標(biāo)。第二步是進行數(shù)據(jù)的準(zhǔn)備與模型建立。這兩者其實是統(tǒng)一的，使用什么算法建立模型其實與具備什么數(shù)據(jù)密切相關(guān)。這里面會進行不斷的實驗與調(diào)整。接下來，模型相對穩(wěn)定后，就需要用不同的評估方法進行模型的評估與參數(shù)調(diào)優(yōu)。在達到一定的準(zhǔn)確率后，模型就能進行部署，如前面所述這個在我們產(chǎn)品里面就很簡便了。而部署并不是終結(jié)，挖掘項目通常都需要迭代。如調(diào)整目標(biāo)、補充數(shù)據(jù)、優(yōu)化模型性能等，這也是我們很多項目都是多期的。

　二、挖掘應(yīng)用領(lǐng)域

通過前面內(nèi)容，大家應(yīng)該對我們挖掘功能及其具體應(yīng)用有一定的了解。除了前面提到的流失預(yù)警、圖像識別外，Smartbi Mining還能應(yīng)用到價格預(yù)測、異常行為偵測、網(wǎng)絡(luò)輿情分析等等諸多方面，應(yīng)用范圍是十分廣泛的。

【我們的優(yōu)勢】

　　一、挖掘與BI緊密相連

對比其它友商，Smartbi Mining與BI是緊密相連的。使用BI的數(shù)據(jù)源、數(shù)據(jù)集，已有項目資源能充分利用。結(jié)果利用BI 的成熟展現(xiàn)技術(shù)，在數(shù)據(jù)觀察、結(jié)果輸出時，展現(xiàn)的效果更加多樣。反過來，BI的功能也被增強了，挖掘的高級數(shù)據(jù)處理功能可以被BI 使用。原來BI都是處理結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)在文本、圖片、后續(xù)的音視頻非結(jié)構(gòu)化數(shù)據(jù)都能處理，極大增強BI的應(yīng)用范圍。并且在BI的數(shù)據(jù)分析界面直接提供預(yù)測入口，大大降低了挖掘的使用門檻。

二、團隊實力

要保證挖掘項目成功，除了有成熟、易用的產(chǎn)品，更重要是要有專業(yè)的咨詢與實踐團隊，Smartbi就有這樣的團隊。我們最近參加了兩個比賽，一個是全球數(shù)據(jù)資源開發(fā)者大賽，這是一個中國互聯(lián)網(wǎng)協(xié)會舉辦的比賽，我們參與了中國移動專題，取得了第2名的好成績。另一個是中國載人航天工程辦公室主辦的天宮數(shù)據(jù)利用青年創(chuàng)新大賽，這個比賽就更為激烈了，全國的大型公司，各個高校都有參與，我們也闖進前10，最終排名第6。

三、應(yīng)用成熟

Smartbi Mining雖然今天才發(fā)布，但其實已經(jīng)開發(fā)與應(yīng)用有一段時間了。我們不少的客戶已經(jīng)成功實踐，為他們帶來實實在在的價值。其中就有稍后會分享的招商信諾，他們已經(jīng)使用了一段時間了，據(jù)反饋效果還不錯，我覺得大家可以放心使用。

在這個大數(shù)據(jù)的時代，每個企業(yè)都希望從數(shù)據(jù)里面獲得價值，我們推出Smartbi Mining就是希望幫助大家更好、更快地做這個事情。如果說從BI 里面我們獲得的是金沙，那么從Mining里面，我們獲得的將是金塊。