原创 IK 分詞器
IK 分詞器 下載和安裝 進入elasticsearch目錄中執行以下命令： # 在線安裝 [yangqi@yankee elasticsearch-7.3.0]$ ./bin/elasticsearch-plugin insta
2020-06-20 22:29:06
原创 基於logstash-input-jdbc索引構建
基於ElasticSearch和MySQL索引構建 # 定義門店的索引結構 PUT /shop { "settings": { "number_of_shards": 1, "number_of_replica
2020-06-20 22:29:06
1
原创 kafka-2.3.1版本的安裝
kafka的安裝 1. 下載及上傳 此處使用Kafka的2.3.1版本進行安裝，下載地址：http://kafka.apache.org/downloads 下載完成之後將下載好的kafka_2.11-2.3.1.tgz安裝包上傳
2020-06-20 22:29:06
原创 僞分佈式elasticsearch集羣啓停腳本
僞分佈式elasticsearch集羣啓停腳本 start-elasticsearch.sh #!/bin/bash cd /opt/apps/elasticsearch-7.3.0-node1/ ./bin/elasticsea
2020-02-29 14:58:35
原创 Tomcat亂碼
Tomcat 亂碼 Tomcat運行控制檯亂碼 在Tomcat目錄下conf目錄下的logging.properties文件中添加如下內容： java.util.logging.ConsoleHandler.encoding =
2020-02-26 09:13:30
原创 Redis集羣安裝
Redis 集羣安裝 環境準備 Redis集羣安裝需要至少三臺機器，由於每臺機器至少需要一個從節點，所以至少需要6臺機器，爲了保證其中某一臺機器宕機時，不會造成數據的丟失。我這裏機器個數有限，我只使用3臺機器，每臺機器部署一個主節
2020-02-26 09:13:30
原创 ElasticSearch-7.3.0 基礎語法
ElasticSearch-7.3.0 基礎語法 索引的操作 創建 # 非結構化方式創建（不指定 mapping） PUT /employee/_doc/1 { "name": "凱傑", "age": 30 } ====
2020-02-26 09:13:30
1
原创 ElasticSearch基本原理
ElasticSearch 基本原理 搜索原理 ElasticSearch簡介 ElasticSearch就是獨立的網絡上的一個或一組進程節點 它能對外提供搜索服務（使用http或transport協議），自從ElasticSe
2020-02-26 09:13:30
原创 布隆過濾器
布隆過濾器 什麼是布隆過濾器？ 布隆過濾器（Bloom Filter）是一個叫做Bloom的人在1970年提出的。我們可以將它看作是由二進制向量（或者說位數據）和一系列的隨機映射函數（哈希函數）兩部分組成的數據結構。相比於Lis
2020-02-24 01:46:57
原创 SBT在Windows上的配置
SBT在Windows上的配置 1. 下載和安裝SBT 下載SBT的windows版本，可以下載msi和zip兩種格式，SBT下載 將下載好的sbt-1.3.5.zip解壓到安裝目錄，並且配置環境變量即可 打開sbt的解壓目錄，
2020-02-24 01:46:57
原创 ElasticSearch高級操作
ElasticSearch高級操作 ElasticSearch進階操作——搜索 [yangqi@xiaoer ~]$ curl -XGET 'http://xiaoer:9200/library/books/_search?pre
2020-02-24 01:46:57
原创 Spark的分區器（Partitioner）
Spark的分區器（Partitioner） HashPartitioner（默認的分區器） HashPartitioner分區原理是對於給定的key，計算其hashCode，併除以分區的個數取餘，如果餘數小於0，則餘數+分區
2020-02-24 01:46:57
原创 Spark常見的Transformation算子（一）
Spark常見的Transformation算子（一） parallelize 將一個存在的集合，轉換成一個RDD /** Distribute a local Scala collection to form an RDD.
2020-02-24 01:46:57
原创 水塘抽樣（Reservoir sampling）
水塘抽樣（Reservoir sampling） 題目：給出一個數據流，這個數據流的長度很大或者未知。並且對該數據流中的數據只能訪問一次。請寫出一個隨機選擇算法，使得數據流中所有數據被選中的概率相等。 這個問題的擴展就是：如何
2020-02-24 01:46:57
原创 Scala簡介及開發環境配置
Scala簡介及開發環境配置 1. Scala簡介 1.1. 概念 Scala全稱是Scalable Language，翻譯爲“可伸縮的語言”，這樣命名的原因是因爲它設計的目的是希望伴隨用戶的需求一起成長。Scala是一面面向對
2020-02-24 01:46:57