原创 查看cpu 信息
# 總核數 = 物理CPU個數 X 每顆物理CPU的核數 # 總邏輯CPU數 = 物理CPU個數 X 每顆物理CPU的核數 X 超線程數 # 查看物理CPU個數 cat /proc/cpuinfo| grep "physical id
2020-06-25 05:35:23
原创 hive 時間命令
1.日期函數UNIX時間戳轉日期函數: from_unixtime語法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string 說明: 轉化UNIX時間戳（從1970-
2020-06-25 04:32:51
原创 kibana 查詢語法
1邏輯語法： And OR 也能用（）分組，相當於先執行括號裏的命令 2 字段前面加上+ 表示必須包含此字段，-表示不包含此字段 3以下字符當作值搜索的時候需要用\轉義 + - && || ! () {} [] ^" ~ * ? :
2020-06-25 04:32:51
原创 ES5.4.1 命令
1count 命令 curl -XGET 'http://10.202.33.206:9200/incbdpiforder/_count' -d' { "query":{ "range": { "timestamp":{ "gt": "n
2020-06-25 04:32:51
原创 hbase 問題
問題： 解決辦法： WARN [regionserver/CNSZ22VL3579/10.202.43.134:16020] wal.ProtobufLogWriter: Failed to write trailer, non-fat
2020-06-25 04:32:51
原创 k8s contianer 和pod的關係
前言 蜂巢（現已更名爲網易雲計算基礎服務）上線的微服務有兩大類，有狀態和無狀態，兩者有很大區別，除了有狀態服務可以掛盤、帶公網這種比較表面的區別以外，其實它們在底層調用k8s的實現上也有很大區別。這裏列出兩個不同類型的服務的結構簡圖。
2020-06-11 18:00:02
原创 ES 建索引
ES 建動態模板索引，設置String 類型寫入時，在ES裏面設置索引類型爲keyword ,避免提前建索引。 PUT /index_name { "settings": { "index": {
2020-04-30 16:41:49
原创 jstorm 2.2.1安裝
1下載安裝包 http://www.jstorm.io/Downloads.html 2解壓 tar -zxvf xxx.tar.gz -C /app 3修改conf/storm.yaml storm.zookeeper
2020-02-25 13:37:11
原创 excel函數
1判斷某個值是否包含在某個區域中 =COUNTIF(A$2:A$51,C2) C2的值是否也在A$2:A$51區域中，如果有則爲1，如果沒有則爲0 2去除前後空格 =trim(A1) 3截取字符串 left(a1,len(a1)-1)
2020-02-25 13:37:11
1
原创 hadoop 遞歸列出文件
@Testpublic void listFiles() throws Exception {// listFiles列出的是文件信息，而且提供遞歸遍歷RemoteIterator<LocatedFileStatus> files = f
2020-02-25 13:37:11
原创 yum 安裝問題
yum安裝的時候出現問題 Loaded plugins: fastestmirror, security Setting up Install Process Determining fastest mirrors Could not r
2020-02-25 13:37:11
原创 redis 兩種持久化方式
第一種：rdb rdb方式的持久化是通過快照完成的，當符合一定條件時redis會自動將內存中的所有數據執行快照操作並存儲到硬盤上。默認存儲在redis根目錄的dump.rdb文件中。(文件名在配置文件中dbfilename) red
2020-02-25 13:37:11
原创 三階魔方公式
轉自 https://jingyan.baidu.com/article/f54ae2fcde34be1e92b849d4.html 下該使用那幾百種公式中的哪一種。可是很多新人不喜歡背公式，也不習慣記憶諸多顏色分佈情況，所以我把我初學魔
2020-02-25 13:37:11
原创 hive 參數設置
hadoop mr參數設置：http://blog.csdn.net/xiaolang85/article/details/8651894 set hive.fetch.task.conversion=more; set hive.c
2020-02-25 13:37:11
原创 hive 數據寫入es
環境： es 2.2.1 hadoop 2.7.3 hive 2.2.1 利用插件講hive裏面的數據寫入es 在es可下載插件 elasticsearch-hadoop-2.2.0.jar 比如要把basic_table裏的數據
2020-02-25 13:37:11