輸入手機號碼后,賬號注冊完成。不知不覺中你又貢獻了一次自己的數據,而這種類似的數據貢獻行為的發生,實質上促進了大數據行業及其生態鏈發展。由此,通過大數據分析,政企可以精準測算出你生活和工作所喜好的一切。
大數據力量之強大讓其成為平安城市的幕后推手,像華為云FusionInsight這樣的大數據平臺解決方案,正在幫助企業快速構建海量數據信息處理系統,發現數據價值和商機。
大數據時代"要有光"
六年前,《紐約時報》寫到"大數據時代已經降臨,在商業、經濟及其他領域中,決策將日益基于數據和分析而作出,而并非基于經驗和直覺。"在商業領域,大數據成為輔助決策的重要手段;在平安城市和金融領域,大數據成為城市維穩和建立個人征信系統的評分關鍵。
在今年年初,包括廣東深圳在內的部分城市開始支持電子身份證模式。通過電子身份證辦理酒店入住、乘車驗票,該電子身份證擁有與第二代身份證同等法律效力。這種模式讓數據信息更加靈活,為人們帶來了方便,但同時也需要完善的IT系統和大數據支持來完成。
也就是說,大數據"早已不是"數據大"了,數據也不等同于信息,單純的數據存儲價值不大,要想獲得數據的智慧之光,需要對大數據實時、彈性、高效的分析。
數據+行業實現產業賦能
過了大數據的炒作期之后,企業開始看到數據價值,開始期望實現數據產出,將數據轉化為利潤,希望利用大數據結合不同行業實現產業賦能。
就像沒有一把萬能鑰匙,目前也沒有一個能夠適應所有行業的大數據分析。通信、電子政務、公安、金融、零售、醫療、能源等不同行業具有不同的需求特點,需要不同的大數據行業應用解決方案。
大數據概念很熱,但大數據對不同行業的應用場景有明顯的區別,做一個滿足用戶需求,打破數據孤島的大數據平臺并不容易。從目前的數據形態來看,隨著網絡技術的不斷強大,非結構化數據逐漸增多,數據的可視化分析和數據挖掘算法兩者成為挖掘數據價值,實現產業賦能的核心。
對于華為來說,海量、線性擴展、經濟、可靠、高效是FusionInsight產品研發的初衷,FusionInsight需要同時滿足數千個節點的功能、運維、多租戶、可用性、安全性、兼容性、擴展性、易用性等能力。
華為FusionInsight大數據平臺長期與金融、電信等不同行業合作,有著豐富的經驗。金融行業更需要以數據挖掘為基礎的服務升級,運營商也面臨數據數量、種類的爆炸式增長,需要提升數據處理速度,提升容災備份能力和可靠性,需要敏捷的啟動和運維能力,提升競爭力。華為FusionInsight大數據平臺為這些問題提供了解決方案。
從2011年開始,華為開始投入FusionInsight大數據解決方案平臺。截止去年(2017年)年底,在全球TOP50的客戶里面有30個客戶選擇華為FusionInsight大數據平臺,國內TOP20的一半企業選擇華為FusionInsight大數據平臺,包括公共安全、政務都在廣泛的應用。
數據之"光"華為FusionInsight應用落地
華為FusionInsight大數據解決方案中就包含了四個子產品FusionInsightHD、FusionInsightLibrA、FusionInsightMiner、FusionInsightFarmer和一個操作系統FusionInsightManafer組成。
依托全球人才,華為擁有從芯片、硬件、算法、模型等全方位布局服務全球客戶,與法國等國家成立了聯合實驗室,一起孵化創新解決方案,在國內與交通領域、交管領域和公安部交管所合作實現實時風控,并在監察系統等方面構筑了比較領先的應用解決方案。
在與各大運營商與金融行業客戶合作的案例中,雙方在大數據平臺、數據集成系統、數據倉庫等方面進行了深入合作。以運營商為例,原來煙囪式應用系統導致數據重復存儲,跨系統數據共享難度大,業務決策分析緩慢,面對大量非結構化數據壓力,使運營商數據體量極大,處理難度更大。
在當前的實際的應用環境下,數據一般都是分布化存在的,應用也是分布式的。而數據治理就是在你想把數據轉化,實現價值變現過程中必不可少的一部分。
數據治理:現在流行的精準營銷,其核心就是數據的治理與分類,建立好不同類別的目錄,在據此分析用戶行為數據,進行精準營銷。數據治理本身和水污染治理很像,都需要一個框架指導規范,在此之上,建立數據管理成熟度模型。
方案架構圖
很大程度上,數據服務的好壞取決于數據治理的程度。說數據治理一定要說數據戰略,成立數據專項小組做數據治理規劃和措施,在確定數據生命周期,進行全程化管理。
具體而言就是在數據治理過程中,首先采集數據,通過歸檔日志等方式解析數據,分析出主數據;然后先到ODS層,可以進行數據備份、查詢、分析,進而分擔系統壓力;在進行ELT二次抽取,建設標準庫,對上一層ODS里面額的數據進行處理;再在據此按照一定主題或維度,建立華為架構融合和數據融合"兩條腿走路"的融合數據倉庫。
不同于傳統數倉,華為的融合數倉可以將原有的資源進行整合,提供更具擴展性、優化的融合數倉方案。
FusionInsightLibrA:華為OLAP型數據庫FusionInsightLibrA,能夠實現PB級數量處理能力,建立可靠數據倉庫、數據集市、BI系統、決策支持系統和大數據SQL結構化數據分析解決方案。用于支撐各類數據倉庫系統、數據集市、BI(BusinessIntelligence)系統和決策支持系統。
LibrA采用MPP(MassiveParallelProcessing)架構,提供了標準SQL支持、數據庫存儲管理功能、組建管理和HA數據節點、API和安全管理,支持行存儲與列存儲,提供PB(Petabyte,250字節)級別數據量的處理能力,滿足當下數據多形態與大體量的需求。
LibrA采用Share-nothing架構,不同架構對比
基于開源數據庫Postgres-XC開發的華為FusionInsightLibrA分布式并行關系型數據庫系統采用無共享架構,使數據分析任務被推送到數據所在位置就近執行,通過控制模塊協調,能夠實現并行大規模數據處理,實現快速反應。
在可靠性與安全性方面,LibrA擁有全方位安全保障機制,獨創的主+備+Handoff三重數據保護,協調節點多活設計,提供企業級可靠性保障。
古龍說"只有陽光是最公平的,不管你這個人是不是快死了,都同樣照在你身上,讓你覺得光明,溫暖。"LibrA在英文中還代表了天秤座,這個星座最大的特點便是如同陽光一樣公平公正,同時懂得因地制宜,像FusionInsightLibrA一樣彈性可靠,適應力強。
面對持續激增的海量數據信息,企業開始認識到數據的價值,希望通過數據采集、挖掘、治理,完成大數據輔助決策,實現數據到價值的轉換。華為FusionInsight大數據平臺通過融合倉庫、LibrA等技術駕馭海量信息,幫助企業快速構建海量數據信息處理系統,對企業內部和外部的信息數據進行實時與非實時的分析挖掘,幫助企業將數據"點石成金",賦能行業并實現價值,讓數據煥發智慧之光。