原创 Hadoop命令大全
hdfs常用命令： 第一部分：hdfs文件系統命令 第一類：文件路徑增刪改查系列： hdfs dfs -mkdir dir 創建文件夾 hdfs dfs -rmr dir 刪除文件夾dir hdfs dfs -ls 查看目錄文件信息
2020-02-21 08:13:11
原创 kafka的JavaAPI操作
kafka的官方網站:http://kafka.apache.org/ 1、創建maven工程並添加jar包 <dependencies> <!-- https://mvnrepository.com/artifact/org.ap
2020-02-21 08:13:10
原创 成功解決Git Bash運行腳本命令下載文件到默認C盤路徑的問題
解決問題 解決Git Bash運行腳本命令下載文件到默認C盤路徑的問題 解決思路 %homedrive% 指操作系統所在盤 %homepath% 指\Documents and Settings\(user)--user
2020-02-21 08:13:10
原创 Kafka HA Kafka一致性重要機制之ISR(kafka replica)
一、kafka replica 當某個topic的replication-factor爲N且N大於1時，每個Partition都會有N個副本(Replica)。kafka的replica包含leader與follower。
2020-02-21 08:13:10
1
原创 Hive動態分區
一）hive中支持兩種類型的分區： 靜態分區SP（static partition） 動態分區DP（dynamic partition） 靜態分區與動態分區的主要區別在於靜態分區是手動指定，而動態分區是通過數據來進行判斷。詳細來說，靜態分
2020-02-21 08:13:10
原创 Apache Impala 介紹以及優劣處
Apache Impala 介紹以及優劣處 ---------------------------------------------------------------------------------------------
2020-02-21 08:13:10
原创 Spark概述（發展史，特點，運行模式）
一：激動人心的Spark發展史 大數據、人工智能( Artificial Intelligence )像當年的石油、電力一樣， 正以前所未有的廣度和深度影響所有的行業， 現在及未來公司的核心壁壘是數據， 核心競爭力來自基於大數據的人工智能
2020-02-21 08:13:10
原创 IntelliJ IDEA中關於GIT問題處理Cannot Run Git File not found:git.exe
打開Intellij Idea 找不到git.exe，解決方法如下： 1、首先要保證下載git客戶端，下載地址爲：https://git-scm.com/download/win 如果裝的是github的客戶端，需要指定的
2020-02-21 08:13:10
1
原创 redis環境安裝
redis的特點 高效性：Redis讀取的速度是110000次/s，寫的速度是81000次/s 原子性：Redis的所有操作都是原子性的，同時Redis還支持對幾個操作全並後的原子性執行。 支持多種數據結構：string（字符串
2020-02-21 08:13:10
原创 WIN 10 系統Alt + Tab 切換窗口卡頓問題結局方案
創建文本，編輯 REGEDIT4 [HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer] "AltTabSettings"=dword:0000000
2020-02-21 08:13:09
原创 apache Impala詳細安裝（躺過最全的坑）
Apache impala詳細安裝 impala 號稱是當前大數據領域最快的查詢sql工具，在安裝的過程中它稱第二，就沒有什麼工具敢稱 第一 -----------------------------------------
2020-02-21 08:13:09
原创 Spark中RDD的持久化/緩存
Spark RDD的緩存 Spark速度非常快的原因之一，就是在不同操作中可以在內存中持久化或者緩存數據集。當持久化某個RDD後，每一個節點都將把計算分區結果保存在內存中，對此RDD或衍生出的RDD進行的其他動作中重用。這使得後續的動作變
2020-02-21 08:13:09
原创 Git Bash提交代碼避免每次輸入用戶密碼
使用Git提交代碼遇到每次都需要輸入用戶名密碼的情況，只要在本地生成一個認證文件即可免去輸入。在%HOME%目錄，一般是C:\users\Administrator。使用git bash命令: $touch .git-credentia
2020-02-21 08:13:09
原创 HBase之過濾器
過濾器 過濾器的類型很多，但是可以分爲兩大類——比較過濾器，專用過濾器 過濾器的作用是在服務端判斷數據是否滿足條件，然後只將滿足條件的數據返回給客戶端； HBase 的基本 API，包括增、刪、改、查等。 增、刪都是相對簡單的操作，與傳
2020-02-21 08:13:09
原创 【數據結構】各種數據結構的特點介紹
1、列表 包括 （1）數組 【1】會在內存中開闢一個連續的內存空間 【2】隨機訪問的效率比鏈表高。數組只要給定下標，則可以直接定位到該下標所對應的元素，而鏈表每次都是從頭節點開始遍歷。 【3】對元素的增刪操作的效率比鏈表低。這裏說的是從數
2019-10-25 18:24:50