關于掌數
公司介紹
最新資訊
公司資質
加入掌數
【掌數科技內外聯合培訓第一期】掌數結緣數據科學 與Pivotal共探行業未來
2018-08-01


 

Pivotal&掌數科技交流座談會

掌數科技內外聯合培訓第一期


       新意科技成員企業掌數科技是Pivotal 在中國大陸地區證券和基金行業的戰略合作伙伴和綜合解決方案提供商。隨著兩家企業的合作逐步深入、技術體系的融合愈加緊密,7月26日特別邀請了Pivotal亞太區數據科學家總監Woo J.Jung以嘉賓和導師的雙重身份蒞臨掌數為企業高管、骨干及核心技術人員舉辦了一場別開生面的技術交流座談會,此會議也兼具掌數科技的內部培訓性質。當天與Woo一同出席會議的還有Pivotal高級技術顧問Jimmy Chiu。

       本次交流座談會以掌數科技總經理劉建簡述公司發展歷程作為開場,Woo在了解公司產品及業務的前提下,兼顧技術性和實用性兩方面深入淺出地為相關人員進行了技術與案例分享,雙方在會議現場碰撞出精彩的思維火花,跳脫固有的模式拓展了新的思路,豐富了參會人員特別是技術人員的知識結構。


Pivotal數據科學家團隊介紹

      數據科學團隊在2010年成立,和200多家公司合作,涉及各行各業,包括金融、物流、汽車、電信等,Pivotal數據科學團隊在很多行業采用數據科學敏捷方法實施了多個成功案例。


  Pivotal的數據科學方法論   
 

       Woo結合實際案例和我們分享了Pivotal在數據科學方面的方法論。在項目開始時,Pivotal數據科學團隊會采用“參與模型”,要求客戶參與其中;設立一個關于行動計劃的專題討論,和客戶討論結束后,將客戶需求全部寫下來并做一個排名,再和客戶一一核對優先級是否符合?基于這樣的目標,再進行可行性分析,并具體展開。希望通過大家一起參與的討論方式,在較短時間內能夠快速夠獲利的想法轉換成一個雛形,讓客戶先看到效果!而不是直接去做花了大量的時間卻不是客戶想要的。

      在確定項目的可行性時,通過限定可行性范圍,能幫助我們更好地去確認該項目是不是合格的,力保能夠落地。

      而在整個項目過程中,團隊的溝通是很重要的,IT不僅是產品還有其他業務人員參與的成分在。Pivotal數據科學團隊有一個每天5-10min的站會,由于時間短,成員之間會高效溝通。


      MADlib的功能介紹       
 

       MADlib是Pivotal公司與伯克利大學合作開發的一個開源機器學習庫,提供了多種數據轉換、數據探索、統計、數據挖掘和機器學習方法,使用它能夠簡易地對結構化數據進行分析和挖掘。用戶可以非常方便地將MADlib加載到數據庫中,擴展數據庫的分析功能。以下是MADlib的硬件、軟件條件、能處理的數據類型和主要方法的概述。

       MADlib集合了用戶常用的并行算法,也結合了其他語言庫開源的演算法例如R語言的PCA算法,另一方面Pivotal可根據客戶的需要,協助客戶加入或優化演算法。


    MADlib的使用案例分享     
 

       隨著業務的積累,各行各業存在著許多孤立的數據得不到有效的分析,而大部分的數據也無法得到充分利用,以及對這些來源不同的數據難以建立一個有效的模型去分析。

       面對上述問題,Pivotal數據科學團隊有自己的一套數據分析工作流,針對不同的客戶場景,收集來自不同數據源的大量數據進行整合,歸類出相關的特征,再用MADlib去建立網絡分類模型,進行下一步的計算,在GemFire和Greenplum上進行分析計算,高效的將計算結果反饋給前臺。例如一個新的消費者進來就會對他的歷史記錄進行分析對即將購買的商品和服務進行打分,之后將最終的結果推送到前臺。

       Woo還向我們分享了許多應用了MADlib的具有實際意義的案例。

案例1:價格走勢預測

通過文本回歸算法和建立情緒分析模型,對社交應用(如推特)的關鍵字和市場的基本面數據進行綜合分析,預測農產品未來價格走勢,從而幫助農民更好的去種植農產品,準確率高達70%。有趣的是,該套模型還被華爾街的大型投行采用,用于增強他們的行業投研報告!

案例2:客戶防流失

通過客戶在APP界面的操控行為去預測客戶的流失率,從而幫助公司提前采取策略去挽留客戶。該數據來自兩個零售商分別提供的兩種信用卡的1-2年的數據,數據量約有6TB。還可通過建立“下一步購買可能性”模型,更好的向消費者推薦商品和服務。此項目向客戶展示了Pivotal數據科學團隊的大數據套件的能力,大幅提高了客戶對多種數據的利用率。

案例3:反欺詐

面對虛假信用卡身份,信用卡被盜刷問題,通過收集客戶靜態的賬戶數據、動態的行為數據等加入Python的演算法去分析,給虛假身份可能性打分。

案例4:防泄密

面對黑客入侵內部人員賬號盜取公司信息的問題,根據用戶過去的歷史行為加上特定用戶有特定權限的限制等,去檢測目前異常的行為,并以可視化的形式展示出來,一旦行為發生能很快監測定位,并觸發針對該賬號的終止訪問指令。

       最后二位嘉賓導師與掌數科技約定,今后多多交流、互通有無,將Pivotal在全球范圍內的技術與案例分享給掌數科技,開闊技術人員的技術眼界,為雙方更好的服務客戶打下扎實的基礎。

       掌數科技希望以此次會議與培訓為契機定期舉辦主題座談會,在此呼吁更多的伙伴加入我們的內外聯合培訓,懷抱著共享、共進、共贏的理念,共同成長!


(Pivotal二位嘉賓導師與掌數科技高管合照)


澳洲幸运10官方预测开奖结果