原创 linux下 zookeeper-3.4.10安裝,命令行基礎命令,過半機制,奇數原則

linux下 zookeeper-3.4.10安裝,命令行基礎命令,過半機制,奇數原則zookeeper安裝基礎命令啓動zookeeper(集羣,最少兩個)查看當前節點的zk狀態啓動zk客戶端顯示所有操作命令:help普通創建(永

原创 大數據學習之 HDFS IO API的簡單使用

大數據學習之 HDFS IO API的簡單使用以及四大機制和上傳下載HDFSIO流 API練習HDFS四大機制1、心跳機制2、機架策略——副本存放策略3、負載均衡4、安全模式HDFS寫入與下載 HDFSIO流 API練習 impo

原创 sql之sql經典45題_mysql

sql之mysql45題建表+數據建表語句增加數據45題個人認爲第11,12,13,18,20,26,38,42題比較有意思1.查詢“001”課程比“002”課程成績高的所有學生的學號;2.查詢平均成績大於60分的同學的學號和平均

原创 大數據學習之 MapReduce基礎及第一個程序 WordCount

大數據學習之 MapReduce基礎及第一個程序 WordCountMapReduce定義優缺點MapReduce編程思想MapReduce進程編碼規範Hadoop序列化爲什麼要序列化?什麼是序列化?爲什麼不用Java的序列化?爲

原创 大數據學習之 HDFS API的簡單使用

HDFS API的簡單使用 需要配置的pom.XML文件 需要在<dependencies></dependencies> 中添加如下內容 <dependency> <groupId>org

原创 redis key+五大數據類+原子性

redis key+五大數據類型Redis的原子性key五大數據類型之String五大數據類型之List五大數據類型之Set五大數據類型之Hash五大數據類型之zset(sorted set) Redis的原子性 所謂原子操作是指

原创 力扣 第415題 字符串相加 與 第67題 二進制求和

力扣 第415題 字符串相加 與第67題 二進制求和第415題 字符串相加題目暴力版進階版遇見的錯誤測試代碼結果正確並可提交第67題 二進制求和題目思路與上題一樣,直接優化版測試代碼結果正確並可提交 第415題 字符串相加 題目

原创 linux之mysql5.7.19安裝步驟

linux之mysql5.7.19安裝步驟linux之mysql5.7.19安裝步驟第一步,導入mysql包到/opt/software/mysql目錄下第二步,解壓縮mysql到當前版本第三步,檢測本地是否有mysql已存在的包

原创 大數據學習之 hbase簡單應用

大數據學習之 hbase簡單應用1.進入客戶端:bin/hbase shell2.查看幫助文檔:help3.查看當前數據庫中有哪些表:list4.ctrl+Backspace(←)是刪除光標前面的字符5.創建表:create6.數

原创 大數據學習之 安裝jdk

安裝jdk 卸載現有jdk 查詢是否安裝java軟件 rpm -qa|grep java 如果安裝的版本低於1.7,卸載該jdk rpm -e 軟件包名字 安裝jdk 在/opt目錄下創建兩個子文件 mkdir /opt/modu

原创 大數據學習之 hbase1.3.1安裝

大數據學習之 hbase1.3.1安裝1.準備工作,啓動ZK和hadoop2.解壓縮habse3.修改配置文件進入conf目錄hbase-env.sh文件,將46-47行註釋,並增加JAVA_HOME配置hbase-site.xm

原创 力扣 第258題 各位相加

力扣 第258題 各位相加題目暴力版答案進階版答案測試代碼結果正確並可提交 題目 給定一個非負整數 num,反覆將各個位上的數字相加,直到結果爲一位數。 示例: 輸入: 38 輸出: 2 解釋: 各位相加的過程爲:3 + 8 =

原创 安裝Spark,搭建僞分佈式和完全分佈式(3節點)

安裝Spark,搭建僞分佈式和完全分佈式(3節點)搭建僞分佈式搭建完全分佈式 搭建僞分佈式 解壓縮文件 tar -zxvf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/m

原创 大數據學習之四 HDFS流程圖解,網絡拓撲,機架感知

大數據學習之四 HDFS流程圖解,網絡拓撲,機架感知HDFS讀操作HDFS寫操作網絡拓步機架感知(副本節點選擇) HDFS讀操作 流程解析: 客戶端(client)向NameNode請求上傳文件,NameNode檢查目標文件

原创 大數據學習之 搭建僞分佈式和完全分佈式

搭建僞分佈式和完全分佈式 搭建僞分佈式 1.在安裝的Hadoop目錄下的etc/hadoop路徑下,找到core-site.xml文件 2.在中寫入下面的內容 代碼如下,需要根據自身linux情況進行更改主機名和hadoop版本