作爲全球領先的搜索和分析解決方案，Elastic Stack使企業能夠從海量數據中以近毫秒的速度汲取洞察力，並高效地找尋問題答案。着重於速度，規模和相關性（下載量超過10億），Elastic Stack正在改變世界使用數據的方式。無論是將團隊與重要內容關聯在一起、監控應用程序性能並最大程度地減少停機時間，還是預防、檢測和對日益增長的數字威脅做出響應，亦或是構建定製化的“搜索驅動型”解決方案，Elastic都在幫助成千上萬的企業從數據中挖掘價值，提升其運營能力。
IT運維面臨的挑戰
內容簡介 /Summary/
面對系統環境的複雜和海量數據帶來的挑戰，百行百業都在積極通過數字化轉型轉變傳統思維，轉向現代化、自動化的IT運維。作爲國內領先的金融機構光大銀行、與國內領先的高端調味品生產企業欣和食品公司，他們在改進運維方式的道路上，遇到了怎樣的挑戰？在ES的使用方面，又有怎樣的心得，下面的分享你將獲得答案。
光大銀行
隨着新技術的使用逐漸廣泛，IT運維面臨着日益艱鉅的挑戰。從大數據、雲計算、分佈式系統到多活數據中心，這些新技術的深度發展和推廣也帶來了IT運維方面的各種變化。總體來說，現在我們系統數量越來越多，關係也越發複雜，這同樣會影響到數據傳輸和交互，這些編織成了一個龐大複雜的系統環境。
這些年我們一直在不斷改進自身的運維方式。從6,7年前流程化的系統運維到近年來我們做的DevOps例如開發運維一體化，進而到現在隨着智能算法的落地引入人工智能， 逐漸轉向AIops智能運維。我們運維模式也在一直變化，這也正是我們應對系統環境複雜和海量數據造就的挑戰而做出的響應。
關於智能運維方面主要包含三要素 - 平臺、算法、大數據。
而平臺和大數據兩方面也促使我們跟Elastic結緣並走到一起。我們需要 ES 這樣的產品，讓我們從各類數據中進行高效價值挖掘，助力我們的運營。
[光大銀行ES之旅]
點擊進入光大銀行的ES之旅
總結來說，我們所面臨的挑戰主要包括系統架構複雜化、運維數據多維化、用戶需求多樣化等變革。
欣和食品
作爲傳統行業的IT運維，我們之前的應用很多是跑在機房裏面，主要涉及單體應用。18年之後我們逐漸將應用轉到AWS上面，而原有架構便不再符合最佳實踐，於是我們從單體架構往微服務做轉變。但因爲本身缺乏相關知識也是剛接觸， 我們在微服務架構的專業知識方面都是需要在短時間內做高效補充和汲取。從運維角度來說，我們轉到了公有云上，而這就又涉及很多新興技術和相關知識。我們在近兩年也是一直投身於知識的不斷學習和提升。
從另一方面來說，因爲逐漸採用微服務架構，我們也需要更多容器化的支持，又涉及很多新技術的引進。Elasticsearch作爲強大的日誌分析解決方案幫助我們做日誌收集、搜索和分析；其他還有監控、鏈路追蹤等。面對這些繁多的技術，選型便成爲了困擾我們的問題，我們想找尋最適合自身的技術。與此同時，由於對新技術不太瞭解，在落地方面也牽涉很多挑戰和問題，雖然衆所周知ES是日誌分析方面的佼佼者，但我們作爲用戶本身很難自己設定出方案與具體實施流程，我們需要的是完整的方案和流程。
最後一個方面便涉及在技術選型好之後的整合問題，我們相信也是通過各類技術的相互結合，纔會讓我們收穫收益最大化。
在ES使用方面，我們原本主要用於日誌收集，接下來也希望可以進一步做分析。在運維方面的使用場景下，我們很少能做出展示頁面展示將數據可視化之後以最直接和清晰的方式展現給領導看。而通過Kibana我們便可以將ES中的數據做各類分析，獲取洞察力，這樣使得領導更加容易理解現有情況。
而開發方面對ES也有特定需求，主要圍繞搜索條件的設置。由於數據量非常龐大，搜索起來很複雜，而傳統數據庫因爲響應時間慢，不能滿足開發人員的需求，我們也是在尋求ES在數據庫加速方面的解決方案。
Elastic商業訂閱可以給企業帶何種價值？
內容簡介 /Summary/
企業由於受到場景複雜化、日誌場景繁多、數據量龐大等挑戰，各行業在ES的使用方面會遇到各種問題。從初級的ES集羣部署問題，到後期的schema或數據庫模型有沒有做規劃設計，有沒有使用dynamic mapping, 硬件配置優化等問題，這個時候，ES如何發揮最大效能，幫助您更快查詢、更迅速的寫代碼呢？來自Elastic的諮詢專家曾勇Medcl將爲您庖丁解牛，解鎖Elastic商業訂閱的價值！
演講嘉賓：曾勇 Elastic諮詢專家
首先，我想先跟大家分享下我在實施項目過程中基本各使用場景的一些觀察。從本質上來講，傳統行業和互聯網行業的差別在逐漸縮小，雖然業務方面各司其職，但在技術領域並無明顯差異，兩邊也在逐步靠近：互聯網行業使用的技術爲傳統行業技術轉型指明瞭方向，而互聯網行業也在涉足2B項目，慢慢滲透到傳統行業中來。
當前互聯網技術發展迅猛，爲了更好應對激烈的市場競爭，傳統行業企業也逐漸開始利用雲計算及大數據等新興技術進行數字化轉型，而非像大家刻板印象中在技術應用比較落後。以光大銀行舉例來說，他們在不斷嘗試新興技術，例如微服務，容器等，這也是一個很好的趨勢。
回到我們經常面臨的海量問題，這邊涉及的主要挑戰包括併發、吞吐非常高，而這也是傳統行同樣面臨的問題。隨着場景複雜化，日誌場景繁多，數據量也同樣龐大。
那麼關於各類行業在ES使用過程中，無論是何種行業，都會遇到這樣或那樣的問題。舉例來說，最常見的便是es集羣部署問題，我看到很多企業一開始沒有很好的規劃，具體表現在角色沒有進行分離。而這方面的隱患在後期數據量增長上來之後會造成集羣響應非常慢，出現問題的話也要進行排障，還有擴容，遷移數據等問題。這些都會使得企業花費額外的時間和精力來處理問題，例如通過清理數據、拆集羣的方式。所以歸因來說我們可以看到規劃這方面會爲企業後續使用上造成不可磨滅的影響。當然，這只是最前期的工作。
進一步深入ES使用的話便涉及 schema或數據庫模型有沒有做規劃設計，有沒有使用dynamic mapping, 硬件配置優化等問題都有可能導致倍級差異。
從我諮詢服務顧問角度來看，企業主一方面應該瞭解ES本身能力，更要知道如何能用好ES。由於是分佈式系統，ES雖然容易上手但是想用好還是花費相當的功夫。現在大部分企業都是在比較初級的階段，只是把數據放進ES，之後做查詢。但怎麼查的更快，寫的更快纔是往後需要不斷學習積累的地方。
這也正是ES原廠專家顧問服務價值的體現。
無論您在ELK旅程中處於何處，我們都會提供諮詢服務來指導並助力您的成功。我們會爲您制定最適合您的實施的獨特的混合服務策略，這些包括：
Awareness意識階段
從核心入手，進行ELK專業知識培訓以建立Elastic產品的堅實基礎
設計部署並學習最佳實踐，以確保滿足項目時間表和可交付成果
Optimization 優化階段
通過在其組織機構進行私人培訓，使整個團隊熟練掌握Elastic專業知識
實施ELK關鍵產品功能或並調優以取得性能最大化
Acceleration加速階段
通過我們年度培訓訂閱汲取最新ELK知識並考取認證工程師、分析師
持續保證部署處於最佳性能
Elastic的企業諮詢提供了很多方面的服務內容，比如常見的：
Elastic 原廠諮詢服務（Elastic JumpStart）：
日誌平臺需求調研；
基於 Elastic Stack (ELK) 設計日誌平臺的數據攝取、整理及分析展現；
Elastic Stack 架構諮詢、最佳實踐設計，升級測試和服務等；
Elastic Stack 集羣搭建及配置優化服務（集羣規模不超過6節點）；
基於 Elastic Stack (ELK) 收集數據、格式化數據，合理分配索引及分片等；
基於 Elastic Stack 實施數據安全策略（權限分級、備份及恢復）。
知識轉移：Elastic Stack 相關知識培訓，以及基礎使用、操作運維手冊等。
更多請參考官網介紹：
https://www.elastic.co/cn/consulting
企業在開源產品方面的機遇和挑戰
內容簡介 /Summary/
隨着各個企業都開始擁抱開源，由於對開源產品經驗較少，傳統企業在使用開源軟件的過程中出現了一些問題。在早期ES的使用上，企業都將ES(ELK) 作爲企業日誌管理平臺使用；但實際上 ES 擁有很多的隱藏技能，接下來的內容中，你將瞭解到開源企業面臨的挑戰，以及ES是如何幫助他們解決這些問題的。
上海富麥
我們從2006年跟紅帽合作之後，一直服務於各大企業。至今，各類企業對開源軟件的擁抱和使用已是普遍現象，大家不會再排斥使用開源軟件。以云爲代表數據中心的建設過程中，開源技術和產品被廣泛的使用。在這個過程當中，相比互聯網行業，傳統企業在多年得到閉源產品的各種關照和服務當中，對於自主參與社區的經驗較爲有限。
根據我的觀察，一般有兩條路徑可以選擇。規模大的企業會學習模仿大型互聯網企業自己進入社區，投身到社區當中以來自主掌控這些軟件。而另外一個路徑就是選擇有服務能力的原廠商或者三方服務公司一起合作，來分擔軟件使用運維方面的壓力。
無論是何種企業，在使用開源產品的過程中都會遇到一些困難。我們對於開源產品做了特定的總結歸納，主要分爲以下三個方面：
分支，版本繁多，變化快
技術支持問題 -- 對開發者更友好，而對於運維方面所提供的支持，尤其對於中文爲語境的資源更爲有限
生態認知不足 -- 大家的普遍認知裏是以廠商爲主，但開源軟件基金會和產品本身都是非常強大
因爲這些特點，也給開源產品的使用帶來了以下幾點的困難與挑戰：
開源技術選型 -- 是否有科學方法論來對各類技術做評估和評價
標準化體系建設 -- 例如安裝、安全規範
行業相關最佳實踐總結
技術人員及人才培養
近幾年來，一些先鋒行業也在不斷做出嘗試，也收穫了累累碩果。我們接觸的一些頭部金融企業機構已經擁有自身專門設立的運維甚至是研發團隊，這也是我們觀察到的顯著變化。
最後，我也想來分享下我們觀察到客戶在ES使用方面的變化。早期的時候客戶主要用Elastic Stack (ELK)作爲企業內部日誌管理平臺，用通俗的話說就是收日誌和存日誌的地方，很多時候都是出現了問題再去查。
而其實Elastic官方本身的定義的解決方案比這個要高大上。這兩年有一個流行詞彙叫做 Observability，可以翻譯成全觀測性。在這一點體會上，我有一個比方大家可以略做參考。這個好比我們每年去做體檢，當我們看到體檢報告的時候，看到指標不好的時候我們會擔驚受怕，心情低盪。而當我們看到自己身體各項指標都非常健康時，心情則會是非常愉快。
ES就像是這樣，它是能充分展示你各項指標如何健康運行的一個平臺。我們也希望在這部分的價值能夠在各企業的使用中充分展現出來，幫助企業提升其運營能力，進而加大投入獲得更多收益。
Elastic爲企業帶來的價值
內容簡介 /Summary/
面對上百系統，紅塔銀行IT部門如何統一管控、第一時間得到告警，開啓處置流程，從而掌握全局？
面對雙11場景的高併發讀寫，光大銀行如何實現數據快遞讀取加速，同時保障數據庫安全性？
欣和食品如何做到易擴展性的同時，做好架構設計，靈活運用coordinating協調節點和冷熱架構？
富麥在ES實踐中，對於如何在企業內部建立ES團隊有何心得？
我們的目標是，不僅能用ES，更能夠用好ES！
讓我們看看這四家企業如何玩轉ES，
爲企業自身帶來無窮價值？
紅塔銀行
今年來系統數量增長很快，總線架構，對接越來越多的應用，也有微服務，容器化等新型架構加入，監管要求，用戶體驗方面對於銀行服務質量要求越來越高，尤其針對業務連續性，權限管控方面。爲了滿足這些要求，我們選擇了ELK。一開始是以日誌管理爲切入點，後來慢慢發現ES更多的能力。
現在主要的用途是把握各應用系統日常運行狀態，統一的管控。另外一方面是第一時間接到告警，尤爲關鍵。具體來說我們本身有上百個系統，一個系統出現問題或事件，可以第一時間得到告警，並且立馬開啓處置流程。在處置過程中，與應急響應團隊確定影響面以及根本原因。實際上基於這些需求，我們橫向評估了一些產品，結合我們本身技術力量等因素，最終選用了ES的架構和解決方案。現在一段時間用下來，我們的體驗還是非常好的，在日常分分方面都體現了它的價值，尤其體現在高可用和連續性方面。我們很多系統都是做的跨中心或是中心內的集羣架構，這些集羣內的日誌和性能指標，網絡流量等這些數據我們都要求自主把控。我們現在也是在做各類細化，例如jvm城池的監控，堆內存，tcp溢出等問題。現在有了ES，在指標和各類信息中，讓我們快速定位到問題的源頭。現在我們也是在各類應用中開始嘗試埋點，接入各類日誌，形成各種圖像做展現。後期運維的整體監控，例如地理信息，終端ip,可以讓我們實現多維度的監控。
[Elastic Stack中的告警]
點擊圖片進入Elastic Stack中的告警
而對於ES原廠專家顧問服務，在整個項目實施中也是幫助我們很多。我們行本身在 ES 集羣部署的時候採用了算存儲的方式，在成本方面也是壓力比較大，但以我個人理解，這個在銀行業也是蠻多的，對於成本控制我們也尤爲關注。
磁盤空間管理，對於某些ES索引管理有些問題，出現了緊張，浪費的情況。曾勇老師一開始做了非常詳盡的巡檢， 對全局的索引和用途做了梳理，調整了策略。我們現在的磁盤空間情況得到了明顯的緩解，另外也對告警watcher這方面進行了詳細的配置，我們的體驗感也很好覺得很好用。可以第一時間發現ES集羣裏面本身的一些問題，這樣保證了一個持續性和可用性。
光大銀行
在建立整個智能運維項目過程中，隨着ES的版本升級，項目也收穫了不小成長。從數據採集，處理，存儲，分析，展現，每個層級都在不斷完善並付諸持續努力，也做出了科技運維涉及的各類場景。而ES在我們的架構中，扮演了一個得力工具的角色，參與到了整個項目的建設和成長過程中。從一開始ES就提供了數據存儲查詢的能力，結合Kibana強大的展示功能，助力我們最早的數字化運維。比較早期的時候我們的網絡安全日誌， 防火牆日誌查詢展示的實現都是靠ES和Kibana的各組件來實現的。現在隨着我們可視化平臺和智能分析平臺逐漸專業化之後，ES現在更側重於數據快遞讀取加速的這樣角色。伴隨着數據量快速增長，我們對於ES集羣軟硬件配置都進行了進一步的調優，例如增加coordinating協調節點可以助益高併發讀寫時候分配的一些能力，也包括我們通過增加熱節點，合理設置分片數量，以來降 低數據寫入和讀寫的延遲。另外還有關於冷熱節點的配比 ，機器硬件選型等等。
尤其是前不久的雙十一的時候，我們面臨每秒幾十兆這麼一個交易日誌數據量，還是可以保持一個秒級數據讀寫、查詢。當時行長在雙十一的展示大屏，實時看交易狀態視圖，ES也是爲這個展示工作提供了堅實的技術基礎。
在集羣搭建和解決集羣性能問題的時候，我們也多次使用原廠服務，曾勇老師也多次來到現場與我們一起解決了非常多的技術問題。包括在容器雲裏面的集羣搭建 ，跨集羣查詢，對於容器雲環境一些測試，性能指標，曾老師都提供了非常多有益的幫助和建議，爲我們提供了堅實的保障。
另外一點，銀行業對於數據庫安全性非常重視，而ES商業訂閱提供了用戶認證，權限管理，加密傳輸是非常重要的，也爲我們的日常使用提供了保障。
欣和食品
在上ES之前，我們的日誌是通過AWS原生雲服務來實現的，但出現了繁雜的問題，尤其是開發人員。於是我們便開始技術選型，最後選擇了ES。雖然已經做出選擇，但對於方案的具體落實，如何達成大家都滿意的效果，我們是沒有頭緒的。專業的事兒交給最專業的人來做。於是我們找到了曾勇老師來實施並開展需求收集。
ES在我們這邊不僅是運維來看日誌用，其他部門例如開發做搜索，大數據做數據採集攝取，或是安全方面的SIEM也是有需求的。針對各部門的需求，曾勇老師在把易擴展性放到首位的同時設計了良好架構。我們之前並不知道coordinating協調節點的存在，亦或是冷熱架構。在方案設計完我們也是得到了非常順利的實施和落地，並且我們非常感恩的是曾老師一直在把如何使用好ES的知識教授給我們。
我們不僅僅是能用ES，更是有能力用好ES。
當後期我們面臨問題時，我們也有能力能處理相應挑戰和困難。當然在後期運維過程中，還是出現了一些我們自己解決不了的問題，這便要感謝商業訂閱的技術支持。通過提case, 技術支持工程師可以迅速幫我們找到問題根源並解決，讓我們日常使用更加順滑。
我們現在的使用重點還是日誌和搜索，以我本身瞭解也相信這兩點也是ES的兩大方向。
上海富麥
我們公司自身ES團隊仍然在成長中，我們在跟客戶的交互中也發掘了客戶本身潛移默化的變化。越來越多的企業在使用ES的過程中非常活躍，不斷提出自身想法，甚至在自身環境中做出了嘗試。舉例來說，我們接觸到某汽車行業巨頭，將ES接入自身車聯網應用場景當中，這其中涉及到給車主提供的app，那這些app使用的頻率，客戶分佈狀況等都可以進行實時展現。這樣對於研發團隊意義重大。他們每天會去關注他們研發的軟件的使用情況具體是如何，並及時對於所展現出來的情況在後期調優工程中給予改進。這些需求本身是我們作爲外部服務商所無法提前預知的，而這些都是客戶自己做出的大膽嘗試和創新，並且付諸實踐。
那在企業內部ES團隊建設中 ，我覺得還是有兩個大方向。企業主可以根據自身情況進行定位，是想成爲純user, 還是兼具developer的user. 這兩種定位會對未來的發展帶來差異化的體現。如果您是把自己定位爲用戶， 那您們可以在需求和想法方面深入挖掘，把更多的精力放在其他業務發展及價值體現，對於ES這部分可以依靠廠商的訂閱服務來保障平臺基本的穩定性。
而當您也把自身定位爲developer這樣一個角色, 您會更多的參與和投身到社區當中。我們也知道，現在開源項目在發展過程中都在慢慢積累，無法一下子滿足客戶所有需求。但如果您能夠根據自身需求有一些創意點子，並且有代碼貢獻 ，這些對於社區更是助益良多，而您團隊跟社區的合作也更爲緊密，進而催化出更加友好的氛圍。
在這邊我也呼籲各位企業主可以在團隊內設置專門負責ES的崗位，爲ES投入專職人員。這不單單是爲了用好產品，而是更多的利用這一套工具獲得價值最大化，造福企業自身。
如何把ES真正用好？
內容簡介 /Summary/
對於如何將ES真正用好，曾勇老師總結了兩點：
1：着重知識的積累，並打造企業內部技術團隊。
2：參加Elastic 的專業培訓，建立全面結構化的知識體系與方法論掌握ES核心知識，併成爲專家。
查看以下內容，瞭解詳情！
演講嘉賓：曾勇 Elastic諮詢專家
第一點，要着重知識的積累，並打造企業內部技術團隊。企業可以指定一些激勵措施，讓員工有更多動力來學習新技術，助力企業降本增效。這也是開源產品的價值體現，相比閉源黑盒子，企業可以通過自身需求去完善，做到自主可控。
另外一個方面就是如何來更好的學習，我們官方有提供專業的培訓，以一個全面結構化的系統帶領開發人員從零入手掌握ES核心知識併成爲專家。我們也提供了ES認證工程師考試，可以檢驗團隊核心技術力，也是對個人的職業發展有着推波助瀾的作用(升職加薪)。
[Elastic認證考試介紹]
https://www.elastic.co/training/certification
[如何成爲一名Elastic認證工程師 ]
https://elasticstack.blog.csdn.net/article/details/109314131
Elastic Stack作爲一個通用大數據的平臺，對企業進行多維度的賦能，從企業搜索，日誌管理分析，到業務流程優化等。我們也是鼓勵企業部門各團隊都可以參與進來，不僅是運維團隊，也涉及開發團隊，大數據團隊，從而可以從海量數據中汲取洞察力和價值(actionable insight)，提高ROI。
點擊下方“閱讀原文”，查看視頻《如何利用Elastic Stack提升企業運營能力》！
本文分享自微信公衆號 - Elastic中文社區（elastic-cn）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。