原创 CentOS7 常用命令集合(轉載)

這兩天一直在對CentOS 7進行初體驗,各種學習命令腫麼用,下面轉載一篇網上看到的,一些實用的命令! 廢話不多說,直接上命令和解析! 常用命令 文件與目錄操作 命令 解析 cd /home 進入 ‘/home’ 目錄 cd .

原创 ElasticSearch 學習小筆記

object數據類型 除了一些基本數據類型以外,要注意有一個object類型,即和json的數據類型。 大部分複雜的數據類型,都是以這個形式存在的 querry和filter的區別 都是刪選數據,最明顯的區別就是前者計算分

原创 docker 安裝mysql、redis

linux安裝docker #查看是否有過安裝 yum list installed | grep docker #安裝 yum -y install docker #啓動 systemctl start docker #查看

原创 spark standalone 部署與運行

前言 由於項目使用的是Elasticsearch來做的數據存儲,沒有引用hadoop,自然也就沒有使用yarn模式的spark集羣部署方案。 standalone的部署方案,指的是單獨的spark集羣,任務的更新和資源的分配等都是

原创 shell腳本學習

寫在開頭:很多我原來會的就不寫了(很基本的命令),這裏寫些自己感覺會用到的,重要的命令 基本linux命令 cp -i file newFile -i強制shell詢問是否覆蓋已有文件, mv -i , rm -i命令也會

原创 kafka徹底刪除topic

這裏假設要刪除的topic是test 刪除kafka相關的數據目錄 數據目錄請參考目標機器上的kafka配置:server.properties -> log.dirs=/var/kafka/log/tmp rm -rf /var

原创 kafka的搭建

kafka的搭建 搭建前說明 這裏就不說廢話去具體介紹kafka是什麼了,只要知道他是一個分佈式的隊列,作用是緩衝消息的就行了。 kafka的運行是基於zookeeper的,所以運行先要裝一個zookeeper。 版本說明:zook

原创 Thread API

文章目錄線程sleep方法介紹使用TimeUnit 替代Thread.sleep線程yield方法介紹yield和sleep設置線程的優先級優先級的介紹線程優先級源碼解析關於優先級的總結獲取線程id獲取當前線程設置線程上下文類加載器線

原创 java 線程的生命週期

線程的生命週期 如下圖所示 由圖片可知,線程的生命週期大體可以分爲5個主要階段 NEW RUNNABLE RUNNING BLOCKED TERMINATED 線程的NEW狀態 當我們new一個Thred對象時,此時它並不處

原创 Elasticsearch 基於groovy腳本實現partial update

partial update 首先,瞭解下,什麼是partial update,與傳統的update有什麼區別? 傳統的update,一般的實現方式,先發起一個get請求,獲取到document,然後再做修改,發送put請求PUT /

原创 Git的相關學習

起步 1.git的安裝 2.初次運行git前的配置 Git 提供了一個叫做 git config 的工具(譯註:實際是 git-config 命令,只不過可以通過 git 加一個名字來呼叫此命令。),專門用來配置或讀取相應的工作環境

原创 Elasticsearch 查詢詳解

實現對es中存儲的數據進行查詢分析,以_search爲結尾,查詢主要有兩種形式: URI Search:操作簡便,方便通過命令行測試,僅包含部分查詢語法 Request Body Search:es提供完備查詢語法Query DSL

原创 Elasticsearch 聚合分析詳解

說明 聚合分析:英文爲Aggregation,是es除搜索功能外提供的針對es數據做統計分析的功能。 功能豐富:提供Bucket、Metric、Pipeline等多種分析方式,可以滿足大部分的分析需求 實時性高:所有的計算結果都是

原创 Elasticsearch數據建模之——mapping字段的相關配置

es作爲以倒排索引爲基礎實現的存儲體系,不遵循關係型數據庫中的範式約定,它的數據建模,是根據部署需求和性能需求的物理模型;而在這個建模的過程中,由於es是可以水平擴展的,可以存儲到TB級以上的大數據的原因,他的一些預配置就顯得尤其重

原创 centOS7集羣hadoop環境搭建

今天安裝了下hadoop,感覺網上的教程還有幾點要注意的地方,我把它總結在寫一下。 一、準備工作 準備3臺centOS 7 虛擬機的安裝我這邊就不寫了,給兩個教程鏈接把: centOS7安裝教程:https://www.centos.ne