原创 JDBC流式讀取MySQL表
一張MySQL大表，我們希望遍歷表中的數據，一般情況下都是一次性讀進內存中，這樣就會給服務器增大很大的壓力，那我們可以不可以流式讀取MySQL表呢，就像ElasticSearch的scrollSearch一樣的效果。 答案是可以的。 經過看
2020-06-15 21:01:15
原创 如何將Hive中的數據導入到Druid中
Apache Druid是一個實時OLAP型數據庫，現在有一個需求就是將Hive中的一張大表，導入到Druid中，然後應用層直接查詢Druid。 接下來就是將Hive中的數據導入到Druid的詳細步驟： 我的方案是直接從HDFS上將源文件直
2020-06-15 21:01:05
原创 使用SQLAlchemy URI 連接Apache Druid
最新版本的superset已經將Apache Druid的本地connector去掉了，所以我們用pydruid的SQLAlchemy URI來連接Druid 選擇數據庫： ip地址：就是Apache Druid 的router節點的
2020-06-15 21:01:05
原创 kudu 突破300列限制設置
配置信息里加上： --unlock-unsafe-flags --max-num-columns=1000 這個答案在stackoverflow也有人回答： https://stackoverflow.com/questions/597
2020-06-15 21:01:05
原创 Flink消費Kafka數據時指定offset的五種方式
下面是Flink讀取Kafka數據的代碼，其中就有五種讀取offset的方式，並配置相應的介紹 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExe
2019-08-29 16:56:33
原创 Kafka 消費者遠程讀不到數據
kafka遠程消費不到數據,但是也不報錯 遠程主機用telnet命令去測試kafka以及zookeeper節點的9200端口以及2181端口都暢通。 這是因爲沒有配置advertised.host.name，所以kafka獲取ip信息的時候
2019-08-28 17:06:07
1
原创 uartz的cron表達式
一個cron表達式有至少6個（也可能7個）有空格分隔的時間元素。 按順序依次爲 秒（0~59） 分鐘（0~59） 小時（0~23） 天（月）（0~31，但是你需要考慮你月的天數） 月（0~11） 天（星期）（1~7 1=SUN 或 SUN，
2019-08-25 16:51:50
原创 MySQL時區設置
方法一：通過mysql命令行模式下動態修改 1.1 查看mysql當前時間，當前時區 select curtime(); #或select now()也可以 +-----------+ | curtime() | +----------
2019-08-21 17:05:53
1
原创 MySQL之substring_index函數詳解
substring_index(str,delim,count) str:要處理的字符串 delim:分隔符 count:計數 例子： str=www.wikibt.com substring_index(str,'.',1) 結果是：ww
2019-08-19 16:54:04
原创 sublime text 批量刪除空白行
方法：1 CTRL+H打開replace功能，勾選上左側的regular expression，並填寫 find what欄 : \s+$ （正則表達式） replace with欄 : （這行留空） 接着點replace all即可
2019-08-13 17:01:44
原创 ElasticSearch Java High Level REST Client之Delete By Query API
Delete By Query Request A DeleteByQueryRequest can be used to delete documents from an index. It requires an existing in
2019-08-09 16:59:36
5
原创 在Linux中使用tcpdump命令捕獲與分析數據包詳解
tcpdump 是linux系統中提供的一個命令行工具,可以將網絡中傳送的數據包完全截獲下來,提供網絡數據分析。下面這篇文章主要給大家介紹了關於如何在Linux中使用tcpdump命令捕獲與分析數據包的相關資料，需要的朋友可以參考下 前言
2019-08-08 16:54:58
3
原创 億級 Elasticsearch 性能優化
前言 最近一年使用 Elasticsearch 完成億級別日誌搜索平臺「ELK」，億級別的分佈式跟蹤系統。在設計這些系統的過程中，底層都是採用 Elasticsearch 來做數據的存儲，並且數據量都超過億級別，甚至達到百億級別。 所以趁着
2019-08-05 16:41:00
2
原创 c++ memcpy 的使用
一共有四種情況使用memcpy，對於使用&還是不適用什麼時候使用一直很困惑，雖然現在仍未全部清除，不過初步已經瞭解一些。果然還是對指針不熟悉，否則會理解的更好。 使用memcpy 拷貝數組 int res2[5] = { 0 };
2019-08-02 16:39:24
原创 C、C++中字符串和字符指針之間的轉換
1、CString 和 int 之間的互相轉化 CString str = _T("123"); int i = _ttoi(str); int i = 123; CString str; str.F
2019-08-02 16:39:24