原创 遠程調試Java程序，遠程Debug
0.環境 遠程服務器（本地也可以應該） 遠程服務器JDK環境 本地IDE（這裏是idea） 1.準備程序 先準備一個要遠程debug的程序，這裏新建一個test工程，並導出jar包。比如一個名叫Test的jar文件 2.遠程
2020-02-26 05:59:42
原创 Java註解的作用，使用，自定義
註解是什麼 註解是描述Java代碼的代碼，它能夠被編譯器解析，註解處理工具在運行時也能夠解析註解。用來標識代碼，提供額外的信息做特殊處理。 比如： @Override public String toString(){
2020-02-26 05:59:42
原创 Python操作excel
1.使用的庫 xlrd 庫 讀文件 xlwt 庫 寫文件 官網地址 可以操作的文件：.xls or .xlsx 文件 2.用法 安裝： pip install 模塊 xlrd使用： 打開文件data = xlrd.
2020-02-26 05:59:42
1
原创 hive sql創建時間維度表
create table tmp.date_dim as select date_add('2016-01-01',a.rk) from(select row_number()over() as rk from db_user.use
2019-04-17 11:23:34
1
原创 kafka刪除消息
如果設置了可刪除直接命令刪除配置server.propertiesdelete.topic.enable=true#刪除test kafka-topics --delete --zookeeper hs01:2181 --topic
2018-11-03 23:58:33
原创 10.SparkStream例子HdfsWordCount
spark github上的例子 程序描述 計算給定目錄下的新文件的單詞個數 運行的時候在hdfs上設置一個目錄 然後實時的往目錄裏放文件 程序可以文件中單詞的個數 代碼 package stream import org
2018-11-03 23:58:33
原创 python3計算一個目錄頁下所有文件夾的大小
import os homedir = 'C:\\Users' def get_size(filedir): tree = os.walk(filedir, topdown=True) dirsize = 0
2018-11-03 23:58:33
原创 zookeeper客戶端查看kafka配置
連接#連接 zookeeper-shell.sh hs01:2181,hs02:2181,hs03:2181 Connecting to hs01:2181,hs02:2181,hs03:2181 Welcome to ZooKeepe
2018-11-03 23:58:33
原创 redis增刪改查----Spring+redis
參考文章： https://www.ibm.com/developerworks/cn/java/os-springredis/index.html https://docs.spring.io/spring-data/data-r
2018-11-03 23:58:33
原创 10.RDD基本操作
package rddbasic import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, SparkContext} /**
2018-11-03 23:58:33
原创 linux端口開放和端口對外開放
查看端口使用情況 netstat -apn netstat -apn | grep 25 查看端口是否對外開放 nc nc ip 25 nc 127.0.0.1 25 #不是對外開放狀態 [root~]# nc 127.0.0.
2018-11-03 23:58:33
原创 maven配置文件 setting.xml設置和設置阿里雲鏡像
settings.xml通用配置 官網鏈接 一般格式： <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.
2018-11-03 23:58:33
原创 hadoop 增加存儲目錄
直接在cdh上配置 HDFS -> 配置 -> datanode ->DataNode 數據目錄dfs.data.dir,dfs.datanode.data.dir 增加一個目錄，不用提前創建 [root@hs03 dn]# had
2018-11-03 23:58:33
原创 8.scala方法定義
形式： def functionName ([list of parameters]) : [return type] 例子 object add { def addInt( a:Int, b:Int ) : Int = {
2018-11-03 23:58:33
原创 redis增刪改查----控制檯
### 進入redis控制檯 redis-cli --raw #加上raw,防止中文亂碼 ### 增 127.0.0.1:6379> LPUSH list0 "hello" #增加一個list 1 127.0.0.1:6379>
2018-11-03 23:58:33