原创 hive 2.3.4安裝
下載地址 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.4/ 下載apache-hive-2.3.4-bin.tar.gz 解壓文件 tar -zxvf a
2020-06-13 23:00:01
原创 centos 7 上安裝hadoop環境被挖礦
使用top查看信息 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 1047 hadoo
2020-06-13 22:59:50
原创 單例設計模式講解
單例設計模式 確保在內存中只有一個對象，該實例必須自動創建，並對外提供 分類： 餓漢式 懶漢式 餓漢式： 類加載的時候創建對象 懶漢式 要用的時候創建對象 /** *餓漢式： *單例是在內存中只有一個對象 *所以是不
2020-02-21 05:49:52
原创 金額轉換，阿拉伯數字轉換成中國傳統形式。 例如：101000001010 轉換爲 壹仟零壹拾億零壹仟零壹拾圓整
金額轉換，阿拉伯數字轉換成中國傳統形式。 例如：101000001010 轉換爲 壹仟零壹拾億零壹仟零壹拾圓整package com.it
2020-02-21 05:49:52
原创 圖解RDD血緣關係
需求 有三個RDD ,分別是 rddA,rddB,rddC.取數據1,2,3,4,5並且分成三個分區,對輸入的數據的每一個數據*2 ,只取大於 6 的數據. 代碼 val rddA = sc.parallelize(
2020-02-21 05:49:52
原创 冒泡法排序
import java.util.Scanner; /** *冒泡法排序： *把大的數據放在最前面，一次找出一個最大的數據，找完了再找第二個 */ public class arraySortDemo { public sta
2020-02-21 05:49:51
原创 spark實現排序的三種方式
根據購買人數降序,購買人數相同根據價格降序排序 object SparkDemo01 { def main(args: Array[String]): Unit = { //創建sparkContext
2020-02-21 05:49:51
原创 hive drop表恢復手冊
前言 語法:DROP TABLE [IF EXISTS] table_name [PURGE]; -- (Note: PURGE available in Hive 0.14.0 and later) 刪除此表的元數據和數據
2019-10-25 17:43:51
原创 Apache Flume快速入門手冊
介紹 apache fulme是一個分佈式的高可用的框架，可以從不同的數據源大量的操作日誌數據，能高效的收集，聚合，移動日誌數據集中到存儲中。 apahce fulme不僅僅是日誌聚合功能，還能自定義數據源，用於傳輸大量的事件數據
2019-09-26 17:22:03
1
原创 求1到100中的素數
/** * 判斷是否爲素數 * 指在大於1的自然數中，除了1和它本身以外不再有其他因數的自然數。 */ object PrimeNumber { def main(args: Array[String]): Unit
2019-09-15 17:13:41
原创 idea寫好的mapreduce程序跑在yarn上
添加配置到文件 core-site.xml <property> <name>fs.defaultFS</name> <!--Yarn 需要使用 fs.defaultFS 指定NameNode URI
2019-09-04 17:14:56
原创 windows下hadoop開發踩坑日誌
NO.1 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /heasy/data could only be replicated to 0 nod
2019-09-02 16:58:39
10
原创 阿里雲搭建hadoop僞分佈式
購買機器 地址：https://www.aliyun.com/product/ecs?spm=5176.12825654.eofdhaal5.2.e9392c4acVBgPk 使用 root登錄機器 創建用戶 $ useradd
2019-08-28 17:42:41