原创 ElasticSearch是什麼?(如果非要比一比,咋就比比激光雨)

​​​​​​ ElasticSearch是什麼 ?   Shay Banon認爲自己參與Lucene完全是一種偶然,當年他還是一個待業工程師,跟隨自己的新婚妻子來到倫敦,妻子想在倫敦學習做一名廚師,而自己則想爲妻子開發一個方便搜索菜譜的

原创 win10 1803官方原版鏡像,看不懂我喫 - - ->S

win10 1803 簡體中文- 家庭|教育|專業|企業版 架構: x64文件: cn_windows_10_consumer_editions_version_1803_updated_march_2018_x64_dvd_120637

原创 大數據技術盲點!22-32沒會,後面基本廢!

引用“中產之路”公號大佬一句話:我85的,大你們很多,職場開竅晚,等明白過來,機會窗口期過了。程序員在22-32歲這10年屬於黃金期,沒走好,後面基本廢了,所以老鐵們,年輕的時候多思考,多跟過來人交流。   請點擊輸入圖片描述 雖說人生

原创 如何在 Apache Hive 中解析 Json 數組

文章目錄1 問題2 使用 Hive 自帶的函數解析 Json 數組3 自定義函數解析 Json 數組問題我們都知道,Hive 內部提供了大量的內置函數用於處理各種類型的需求,參見官方文檔:Hive Operators and Use

原创 zookeeper和Kafka的關係

kafka與zookeeper:     一個典型的Kafka集羣中包含若干Produce,若干broker(一般broker數量越多,集羣吞吐率越高),若干Consumer Group,以及一個Zookeeper集羣。Kafka通

原创 Linux 根目錄爆滿 解決(/dev/mapper/centos-root 100%問題)

Linux 根目錄爆滿 解決 一、使用df -h命令查看,發現/根目錄的剩餘空間爲0。總共系統盤容量才20G。 文件系統                   容量  已用  可用 已用% 掛載點/dev/mapper/centos

原创 hive函數 -- split 字符串分割函數

hive字符串分割函數 split(str, regex) - Splits str around occurances that match regex Time taken: 0.769 seconds, Fetched: 1 row

原创 安裝mysql Install/Remove of the Service Denied!錯誤的解決辦法

在windos 的cmd下安裝mysql 在mysql的bin目錄下面執行: mysqld --install 報錯: 信息如下: Install/Remove of the Service Denied   解決辦法: 打開cmd.ex

原创 Hive常見的存儲格式文件比較

一 列式存儲和行式存儲 首先我們看一下一張表的存儲格式 1.1 行式存儲 1.2 列式存儲 1.3列式存儲和行式存儲的比較 行式存儲 優點: #相關的數據是保存在一起,比較符合面向對象的思維,因爲一行數據就是一條記錄 #

原创 數據挖掘領域十大經典算法之—C4.5算法(超詳細附代碼)

相關文章: 數據挖掘領域十大經典算法之—K-Means算法(超詳細附代碼) 數據挖掘領域十大經典算法之—SVM算法(超詳細附代碼) 數據挖掘領域十大經典算法之—Apriori算法 數據挖掘領域十大經典算法之—EM算法 數據挖掘領域

原创 spark (java API) 在Intellij IDEA中開發並運行

概述:Spark 程序開發,調試和運行,intellij idea開發Spark java程序。 分兩部分,第一部分基於intellij idea開發Spark實例程序並在intellij IDEA中運行Spark程序.第二部

原创 深入解析淘寶Diamond之客戶端架構

說明:本文不介紹如何使用Diamond,只介紹Diamond的實現原理 一、什麼是Diamond diamond是淘寶內部使用的一個管理持久配置的系統,它的特點是簡單、可靠、易用,目前淘寶內部絕大多數系統的配置,由diamo

原创 降低PNG圖片存儲大小方法、圖片壓縮方法

1. 將PNG圖片用PS打開。 2. 圖像-模式-8位/通道 (這樣在後續存儲時纔有gif存儲選項) 3. 將圖片另存爲GIF。 4. 選項中選擇局部可感知或者全部可感知。 5. 強制選擇“無”,勾選透明度。 6. 存

原创 Kafka性能測試分析

首先要特別感謝趙崇賀同學利用業餘時間進行的壓測,才能爲本文提供專業的測試數據 一、測試環境準備 Cpu 內存 硬盤 Intel(R) Xeon(R) CPU E5520 @ 2.27GHz 32G 6T Kaf

原创 利用多寫Redis實現分佈式鎖原理與實現分析

在我寫這篇文章的時候,其實我還是挺糾結的,因爲我這個方案本身也是雕蟲小技拿出來顯眼肯定會被貽笑大方,但是我最終還是拿出來與大家分享,我本着學習的態度和精神,希望大家能夠給與我指導和改進方案。 一、關於分佈式鎖 關於分佈式鎖,