原创 ES的優化
一、查詢優化 查詢條件的與或關係、查詢順序 filter代替query 使用_cache，強制緩存查詢條件 系統內存和JVM內存（最大32G）提升 CPU和SSD，更具具體業務場景 keyword代替long或者integer
2020-06-14 11:01:28
原创 Pig script failed to parse: NoViableAltException(84@[])
出現以下錯誤的主要原因就是filter 語句的邏輯有問題，可以看看by關鍵詞後面的部分。 ERROR 1200: Pig script failed to parse: NoViableAltException(84@[]) org.
2020-06-14 11:01:28
7
原创 WMI Provider Host（wmiprvse.exe）佔用CPU高的解決方案
新裝windows8.1 發現WMI Provider Host（wmiprvse.exe）佔用CPU非常高，有事會瞬間飆升到100%造成機器卡死幾秒。尋找了很久找到了以下解決方案：1、首先要排除病毒或木馬的可能。2、在運行裏執行 se
2020-06-14 11:01:28
54
原创 【轉】深度解構DMP的概念面具
北京2015年10月26日電 /美通社/ -- 面對越來越多、越來越分散的線上和線下渠道、越來越難理解的在線新生代、層出不窮的新名詞，企業各種焦慮但也不知道從何入手。因此，消費者畫像、精準營銷、大數據、O2O、SCRM（Social C
2020-02-21 04:56:03
2
原创 消息隊列入門理解
消息隊列（Message Queue）允許應用程序通過相互之間發送消息來通信。消息隊列在目標隊列繁忙的時候，提供一個臨時的消息存儲。 下面我將從以下幾個方面來介紹消息隊列。 1、什麼是消息隊列？ 2、使用消息隊列可以帶來什麼好處？
2020-02-21 04:56:03
原创 Storm 重啓排查（續）
此文主要接 storm worker異常重啓原因排查彙總 這篇文章繼續描述。上文中的第三點大概描述了一下造成重啓的原因，這次又有一次詳細的排查過程和思路供參考。 一、背景 今天，另一個同事反應，我們的一個任務在早上4點到10點之
2020-02-21 04:56:03
原创 storm worker異常重啓原因排查彙總
此時此刻，正在等到6.18的到來，趁着沒事寫個博客，，， storm集羣在worker down掉以後會自動啓動新的woker，但是有很多情況下是感覺不應該重啓的時候，woker重啓了，因此就走上了排查woker重啓的道路上~
2020-02-21 04:56:02
2
原创 大數據架構技術
下圖是近來學習和用到的大數據方面的技術，現在做一個總結。並且在總結的過程中，也進行更加進一步的學習和了解。 以上爲個人所接觸到的大數據相關的一些技術，後續的章節將圍繞這些技術展開，具體的介紹方式是從應用和原理兩個方面進
2020-02-21 04:56:02
原创 Spark - Cluster Mode概述（翻譯）
這個文檔簡要的介紹下Spark是怎麼樣在集羣模式中運行的，以方便更容易的理解其涉及到的組件。可以通過閱讀 application submission guide來了解怎麼樣在集羣中運行應用程序。 Components Spark應
2018-12-10 00:45:03
5
原创 Flink 架構
Flink是一個分佈式的、有狀態的計算框架，它可以處理無限的和有限的數據流。Flink原本設計的就是可以在所有的通常的集羣環境，在內存中進行任意規模的計算。 一、處理無邊界的和有邊界的數據流 任何種類的數據都是以事件流的形式產生的，
2018-12-10 00:45:03
原创 程序猿，認清自己處於什麼階段
從標題來看，這個話題是一個比較大的概念，這個話題，其實是我從工作一年多以後，一直持續不斷地在思考這個問題，而現在把這個做一個個人總結。 曾經與一位同事聊天，談到這話題，問他感覺自己現在處在什麼階段，他說：“我現在處在畢業一年的階段！
2018-12-10 00:45:03
原创 思維導圖-詳細瞭解JVM和GC過程
今晚花了2個小時左右，看完了官方的一篇關於JVM和GC的文章，並且同時整理爲思維導圖，見下圖。 對於詳細的垃圾回收過程，從Eden到old generation，在原文中有非常詳細的介紹。後續會抽時間把原文章進行翻譯的。 並且思
2018-12-10 00:45:03
原创 Java中的核心知識點
一、多線程篇 1、Java自帶的線程池的類別、實現以及相關特性 2、ThreadLocal 類 3、synchronized、volatile、Lock類
2018-12-10 00:45:03
原创 ES常用操作
ES setting操作： curl -XPUT localhost:9200/_cluster/settings -d '{ "transient" : { "threadpool.search.que
2018-12-10 00:45:03
原创 Flink 操作
Apache Flink是一個支持有邊界的和無邊界的數據流的有狀態計算的框架。因爲很多流式應用被設計成在最短的停機時間內持續運行，所以一個流式處理器必須提供卓越的失敗恢復能力，同時提供工具在應用運行的時候監控和維護他們。 Flink
2018-12-10 00:45:03