系統架構師成長之路(三)

   在當前的互聯網領域,大數據的應用已經十分廣泛,尤其以企業爲主,企業成爲大數據應用的主體。大數據真能改變企業的運作方式嗎?答案毋庸置疑是肯定的。隨着企業開始利用大數據,我們每天都會看到大數據新的奇妙的應用,幫助人們真正從中獲益。大數據的應用已廣泛深入我們生活的方方面面,涵蓋醫療、交通、金融、教育、體育、零售等各行各業。

   古代,人們用牛來拉重物。當一頭牛拉不動一根圓木時,他們不曾想過培育更大更壯的牛。同樣,我們也不需要嘗試開發超級計算機,而應試着結合使用更多計算機系統。                                                                                                                           --格蕾斯·霍珀

大數據概念

   何爲大數據?大數據是指無法再一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。大數據技術,是指從各種各樣類型中的數據中,快速獲得有價值信息的能力。適用於大數據的技術,包括大規模並行處理(MPP)數據庫,數據挖掘電網、分佈式文件系統、分佈式數據庫、雲計算平臺、互聯網和可擴展的存儲系統。

目前,全球大數據公司主要分爲兩個陣營。

   第一陣營是:傳統大型科技類公司。這些公司自身擁有龐大的資金支持和傳統的技術保障,他們能夠利用自身資源與技術優勢迅速衝擊大數據領域,並佔領一隅。

   第二陣營是:創新型數據分析公司。這些公司以創新爲靈魂和依託,往往沒有充沛的技術、資本累積,但是,是未來大數據發展過程中不可忽視的力量。

   全球大數據收入排名前茅的公司有什麼值得學習的?有什麼優勢、什麼大動作?你認識的又有幾家?

   IBM(全稱:國際商業機器公司),被譽爲科技領域的藍色巨人,是全球最大的信息技術和業務解決方案公司,成立於1911年,名副其實的百年“老店”。

   因爲初創企業,對各行業瞭解相對淺顯,所以IBM能夠通過自己的數據分析軟件爲小型企業提供全面、深入的行業數據分析;對於大型企業而言,IBM不僅爲其提供數據庫平臺,還會提供分析服務,幫助大型企業提高生產、管理效率,削減大型企業的冗餘部分。

   藍色巨人給人的印象往往是IT基礎設施供應商,但實際上,在2004年IBM將PC業務出售給聯想公司,全面進入更高利潤的企業級IT市場,2014年出售X86業務後,開始向成爲軟件和服務領域全面轉型,原因很簡單:利潤率高。

   大數據作爲正在快速發展的高利潤行業,毫無疑問的吸引了IBM的注意力,目前,IBM已經開發出了DB2、Informix與InfoSphere數據庫平臺、Cognos與SPSS分析應用等一大批知名產品。同時,IBM也爲Hadoop開源數據分析平臺提供支持。

   HP(惠普),全球性的資訊科技公司。2014年10月曾宣佈將企業拆分成兩家500強公司:惠普企業和惠普公司;此次拆分預計今年(2015)年底完成。

   惠普認爲:在未來的一段時間內,所有IT企業面臨的問題都將是大數據問題。

   惠普將Haven解決方案譽爲軟件核心的引擎。它是一個對所有數據類型都可以進行採集、存儲、管理、優化、分析的平臺,實現各個行業大數據一體化的解決方案。

   簡單來說,HAVEN解決方案=Hadoop(開放架構)+Autonomy(語義計算)+Vertica(數據分析)+Enterprise Security(ArcSight數據安全)+N個用戶應用。

   中國作爲惠普未來發展戰略中重要的市場,惠普已經將“青島-惠普軟件全球大數據應用研究及產業示範基地”落戶青島。據悉,未來惠普將在青島建設全球大數據應用研究中心、大數據處理中心、測試中心、全球戰略伙伴智慧產業試驗區等研究機構,並將爲青島的智慧城市建設提供數據支持。

   Dell,戴爾公司創立於八十年代個人信息化的風口上,並一度以直銷模式成爲家用、辦公室電腦的首選,風靡全球。目前,Dell擁有包括PC、工作站、存儲、交換機、服務器在內的多條產品線。

   說到戴爾大事件,一定是今年4月份戴爾公司收購EMC這個存儲領頭羊。收購金額高達670億美元,一躍成爲IT史上最大併購案。

   對於正在轉型的戴爾來說,收購EMC絕對是邁克爾·戴爾的一步好棋。毫無疑問,存儲在向企業級轉型的戴爾宏圖中佔有重要位置,而大數據的存在絕對離不開卓越的存儲技術。

   在戴爾未來的大數據規劃中,戴爾將隨着大數據時代的到來和對存儲基礎架構應需而變的要求,基於戴爾流動數據體系架構的存儲解決方案,爲客戶提供智能的端對端的數據管理,重新定義數據經濟。 

   SAP,位於德國沃爾多夫市,主營業務爲軟件和服務,提供企業應用軟件的研發和推廣,全球領先的企業管理軟件解決方案提供商。

   SAP自成立以來一直從事企業軟件的開發與推廣,通過40年的積累,已經讓SAP的大數據解決方案深入到政府大數據、醫療大數據、市場營銷、體育賽事分析和電子商務等各個領域。

   紀秉盟(SAP大中華區總裁)表示:企業不能固守於過去的成功,過去企業的成功在未來不一定繼續有效。企業要打造數據驅動的企業文化,因爲在數字化的世界當中,企業的動作、速度變得越來越快。

   的確,很多企業都已經注意到企業轉型的必要性,但真正着手改變的企業並不多。“轉型就是找死,不轉型就是等死”已經成爲企業的心頭病。SAP認爲,隨着數字化的特徵逐漸顯現,行業之間的界限也越來越模糊,企業向數字化轉型已經不能再持等待和觀望狀態。 

   Teradata(天睿公司),被列爲美國前十大上市軟件公司之一,以0.27億美元的微弱差距屈居全球大數據收入規模第五名。

   您可能覺得Teradata這個公司有點陌生,但對於啤酒與尿片的案例一定很熟悉。雖然這個故事的真實性有待商榷,但有消息表示,這個故事的確是從Teradata的一位經理口中傳出。

   啤酒與尿片指的是,在沃爾瑪的超市中,啤酒與尿片兩個看似毫不相關的商品會擺放在一起,原因是,當老婆在家帶孩子時,男人通常會出去給孩子買尿片。到超市後,男人會想給自己買啤酒;這樣,啤酒與尿片兩個看似毫不相關的商品放在一起會大幅提升商品的銷量。

   認識了Teradata,我們來聊聊Teradata Patners全球用戶大會。Teradata Patners全球用戶大會是大數據領域的年度盛宴。在今年的全球用戶大會上,Teradata拋出了一個有趣的觀點,即:萬物皆可分析。

   在Gartner發佈的2016十大可能影響企業的技術趨勢中,物聯網技術高票入選。但是從物聯網生成的數據中獲取價值非常困難,所以,從物聯網中收集和簡化信息成爲了重中之重。爲此,Teradata發佈了一款具有實時“聽取”功能的自助式智能軟件,Teradata Listener,能夠跟蹤客戶存放在世界各地的多條傳感器和物聯網數據流,並將該數據傳送到分析生態系統的平臺上,幫助客戶分析不計其數的數據源,簡化數據分析難度。 

   Oracle,甲骨文公司全球第二大軟件公司,據悉,《財富》100強中的98家公司都採用Oracle技術。

   甲骨文的大數據佈局主要分爲兩方面:一、從後端Hadoop、NoSQL到前端數據展現(Endeca),提供網站的端到端的大數據解決方案;二、傳統技能與新技術相結合,利用Big Data SQL來提供SQL-on-Hadoop工具。

   在與英特爾合作後,推出了“Exa your power”合作項目。事後,甲骨文董事長拉里·埃裏森曾表示:“IBM與SAP在過去20年中一直是我們的競爭對手,但如今我們已經不再把主要精力用在他們身上。”

   在去年11月12日,甲骨文與騰訊雲簽署合作諒解備忘錄,宣佈共同爲中國企業提供甲骨文企業及雲計算服務。也意味着,“姍姍來遲”的甲骨文雲終於在騰訊雲的依託下落地中國。

   對此,甲骨文表示,雲部署取得成功最關鍵的一點在於:企業必須充分理解數據的價值,將數據資產看得與財務資產同樣重要,這將會改變企業的思維方式。 

   Splunk,是第一家上市的大數據概念公司。2012年,Splunk在納斯達克上市的首個交易日109%的漲幅,充分滿足了人們對大數據板塊市場空間的想象。Splunk也曾被華爾街評爲:大數據裏面的谷歌(Googlefor IT)。

   Splunk認爲,如果說過去10年更注重數據寫(Schema atWrite)的能力,那未來15年將是以讀(Schema atRead)爲主的時代。其軟件可用於監控、分析實時的機器數據以及TB級別的數據(數據源既可本地,也可是雲)。

   在電信、金融領域,Splunk擁有龐大的用戶羣,例如:中國移動、中國電信、民生保險、銀聯支付、百聯支付、國美電器等。

   Splunk不比傳統的科技巨頭,但它也已經在大數據領域累積了超過十年的經驗。目前,Splunk也已經在上海建立了自己的研發中心,着重研究移動端的產品研發。

   提到微軟,大家首先想到的肯定是Windows操作系統和office辦公軟件,殊不知,這個全球最大軟件公司在大數據領域也是下足了功夫。

   爲了快速提升微軟在大數據領域的競爭力,僅2015年一年,微軟就收購了3家數據相關企業:Revolution Analytics、DataZen和VoloMetrix。而在微軟的大數據戰略中,SQL Server有着舉足輕重的地位。

   微軟認爲,大數據和雲計算是一個硬幣的兩面,雲計算是大數據的IT基礎,而大數據是雲計算的一個殺手級應用。微軟恰好滿足了這枚硬幣的兩面(Azure和SQL Server)。

   雲計算是大數據成長的驅動力,Windows Server爲企業級客戶提供了構建私有云平臺,Windows Azure是公有云平臺,兩者相結合滿足了客戶對公有云、私有云和混合雲的需求。除此之外,Microsoft SQL Server和Microsoft SQL Serverfor Hadoop很好地打造了結構化數據和非結構化數據的互操作。 

   Amazon(亞馬遜),是美國最大的網絡電子商務公司,在2006年推出企業雲業務AWS(Amazon Web Services),在市場上十分有競爭力。

   亞馬遜的精準營銷,在大數據領域可謂是久負盛名。用戶在使用亞馬遜網站的過程中,搜索了什麼,看了什麼,最終購買了什麼,這些數據都會被系統記錄。亞馬遜正是通過長久的數據收集、整理和分析用戶行爲和喜好,挖掘用戶的潛在需求,以此爲依據進行精準營銷。

   說道點上就不得不聊聊令人頭痛的物流。中國的購物節(雙十一)剛過,物流也成爲了買家最頭痛問題。

   爲了解決訂單量突增,物流跟不上的問題,亞馬遜申請了一項基於大數據分析的“預測性物流”專利。這項專利可以讓亞馬遜根據海量用戶數據,去預判用戶的購買行爲,提前將這些商品運出倉庫,放到託運中心寄存,等用戶下單了,立馬裝車運往用戶家中。通過這項技術能夠極大縮短送貨時間,提高用戶體驗。

   Google,谷歌全球最大的搜索引擎公司。以互聯網搜索、雲計算、廣告技術爲公司的主營業務。

   作爲當之無愧的全球最大搜索引擎,谷歌積累了大量的用戶數據,加上自有的大數據技術,打造了一個開源的大數據平臺,最終實現谷歌閉合的大數據生態圈。

   谷歌提供的大數據智能應用包括:客戶情緒分析、交易風險、產品推薦、消息路由、診斷、客戶流預測、法律文案分類、電子郵件內容過濾、政治傾向預測、物種鑑定等多個方面。

   而這些鑑定也會有失誤的情況。比如去年7月份,一名叫傑克·艾爾薩尼的程序員在Twitter上透露,Google Photos將兩位黑人標記成了“大猩猩”。事後,谷歌發言人表示了道歉。據悉,該錯誤主要是由算法漏洞造成的,事件發生後,谷歌迅速進行了更改。

   國內做大數據的公司依舊分爲兩類:

   一類是現在已經有獲取大數據能力的公司,如百度、騰訊、阿里巴巴等互聯網巨頭以及華爲、浪潮、中興等國內領軍企業,涵蓋了數據採集,數據存儲,數據分析,數據可視化以及數據安全等領域;

   另一類則是初創的大數據公司,他們依賴於大數據工具,針對市場需求,爲市場帶來創新方案並推動技術發展。其中大部分的大數據應用還是需要第三方公司提供服務


                                                       

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章