關于掌數
公司介紹
最新資訊
公司資質
加入掌數
【企業人物專訪 ? 第一期】海富通DIP數據中心項目建設之路
2018-06-13

本期邀請嘉賓

海富通信息技術總監 高青博士



采訪背景
掌數科技是Pivotal 在中國大陸地區證券和基金行業的戰略合作伙伴和核心分銷商,2017年掌數科技以協作開發的模式與海富通基金一起在4個月內完成了GP平臺新一代數據中心的順利上線。

探索篇 | 摸索建設企業級大數據平臺
1.為滿足內部數據分析和監管機構的監管數據要求。
全面提升數據服務能力,充分挖掘數據價值,全面提升數據資源管理水平和數據資產綜合應用能力,促進業務“用數據說話”,為業務發展提供不竭的內生動力,持續推動業務創新、服務創新、管理創新。
2.統籌規劃、頂層設計、共享復用、分步實施。
借助埃森哲咨詢公司,公司內部各部門達成共識,構建企業級大數據平臺,實現數據資源統一管理。打通公司內部的數據孤島,通過數據治理,提升企業數據質量,提高數據利用價值。

踐行篇 | 創新提升企業競爭力和生產力
1.數據平臺方面
基于自身業務數據結構,首先淘汰Hadoop平臺,其次結合公司技術團隊情況,考慮到學習成本,可擴展性,技術支持等,傾向于MPP數據庫產品。對比Greenplum與Vertica,如下表所述:

最終從技術支持、廠商品牌、行業使用案例及后續擴容成本及風險考慮,選擇Greenplum產品作為新一代綜合數據平臺的數據庫。
2.ETL工具
1)Informatica
Informatica PowerCenter用于訪問和集成幾乎任何業務系統、任何格式的數據,它可以按任意速度在企業內交付數據,具有高性能、高可擴展性、高可用性的特點。Informatica PowerCenter包括4個不同版本,即:標準版,實時版,高級版,云計算版。同時,它還提供了多個可選的組件,以擴展Informatica PowerCenter的核心數據集成功能,這些組件包括:數據清洗和匹配、數據屏蔽、數據驗證、Teradata雙負載、企業網格、元數據交換、下推優化(Pushdown Optimization)、團隊開發和非結構化數據等。

2)Kettle

Kettle是一款國外開源的ETL工具,純java編寫,可以在Windows、Linux、Unix上運行,綠色無需安裝,數據抽取高效穩定,提供豐富的SDK,并開放源代碼,便于二次開發包裝。


基于公司業務數據需求,通過Kettle就能滿足,Kettle免費并且技術門檻較低,因此最終選擇使用Kettle做ETL工具。
3.報表平臺方面
主要考慮國產軟件,在多款國產軟件中進行選擇,最終在POC和后期服務支持中,國內某大型報表廠商的技術人員給我們留下了深刻的影響,他們的技術精湛,能夠非常快速的實現我們提出的需求,在功能、用戶案例、技術和影響力方面也處于國內領先地位,進行綜合考慮后,我們最終選擇了國內某大型報表廠商作為我們企業統一報表中心平臺。

成果篇 | 數據中心平臺建設奠定企業數據基礎
1.應用方面
目前投研、營銷、風控、監管、運營已經投入實際使用,支撐了公司幾大重要的業務。

2.報表方面
通過統一的企業報表中心平臺,精簡報表,剔除無效或重復報表。由原2000左右的報表,精簡至150余張。不僅提高業務部門與IT部門工作效率,也達到節省資源的目的。通過報表中心平臺的即席查詢,滿足了各業務部門的靈活報表需求。
3.數據方面
1)公司領導充分重視,成立了數據治理工作小組;當前已經打通企業的數據通道,實現了企業數據的標準化。
2)通過新一代綜合數據平臺實現了除年報以外的報表在秒級(最大的報表15s,大部分在微秒級)完成。
3)當前數據價值的利用還比較淺,主要滿足當前的業務報表需求,后期將在數據分析、領導駕駛艙、數據挖掘等方面進行嘗試,進一步挖掘數據的價值。通過數據視圖、數據集市及統一指標庫等讓星羅棋布的數據資源實現極大程度的整合,實現企業數據化運營。
企業數據中心平臺的成功建設,為企業數據分析、數據決策、數據挖掘及機器學習、人工智能等奠定了數據基礎。

掌數科技
1.擁有多名Pivotal高級認證架構師,有豐富的Pivotal產品運維、開發、管理和性能調優經驗;
2.可提供一站式Greenplum大數據服務,包括產品咨詢、架構與設計、開發實施、運維管理與監控、性能調優及高級培訓等Greenplum高級支持服務。
澳洲幸运10官方预测开奖结果