原创 spring-task簡單實用小結
spring-task，是spring 3.0以後自帶的定時任務工作機制，可以將它看成一個輕量級的Quartz，使用起來比Quartz簡單的多，並且不需要引用額外的jar包 首先編寫我們的任務類，就是普通的java類，不用繼承或實現其它類
2020-07-04 13:30:39
原创 linux查看目錄下佔用空間最大的目錄
du -h --max-depth=1 /path先在/path目錄下找出最大的目錄path1，然後再在path1下找出最大的目錄，這樣一級一級就可以找出佔用空間最大的目錄了du -h --max-depth=1 /path/path1
2020-07-04 13:30:39
原创 mysql查看歷史執行的sql
查看mysql的語句,比較常用的大概是show processlist 命令了,但是這個對於查詢時間比較長的語句比較有意義,對於一下子就能執行的語句真心拼不過手速啊. 於是就只能從mysql的歷史記錄裏面着手了.爲了實現這個目的,我們需要
2020-07-04 13:30:29
原创 ganglia監控hadoop各項指標含義
監控指標大致如下： default.shuffleInput dfs.datanode jvm mapred.shuffleOutput rpc metricssystem dfs.datanode.blockChecks
2020-07-04 13:30:29
原创 hbase meta表修復
meta表修復一 Java代碼 查看hbasemeta情況 hbase hbck 1.重新修復hbase meta表（根據hdfs上的regioninfo文件，生成meta表） hbase hbck -fixMeta
2020-07-04 13:30:29
原创 hive count表提交mapreduce任務報錯。
今天使用hive時發現用select * 查詢單表，查詢正常。 使用select 字段名 ，select count(*) ，及關聯表查詢時發生如下異常錯誤： Caused by: java.net.URISyntaxException:
2020-07-04 13:30:29
原创 oracle不支持的字符集，nvarchar2類型
後臺報錯： 奇怪的異常---“不支持的字符集 ！！: DBConversion” 原因： ORACLE數據庫表中有個字段的類型是NVARCHAR，改成varchar2,解決了
2020-07-04 13:30:29
原创 從源hbase集羣中複製出HBase數據庫表到本地目錄
一、從源hbase集羣中複製出HBase數據庫表到本地目錄 最好停止HBase，否則可能會丟部分數據 [hbase@hadoop200 ~]$ hadoop fs -get /hbase/toplist_ware_total_1009
2020-07-04 13:30:29
原创 mysql將索引到處成oracle
查詢sql： SELECT CONCAT('CREATE INDEX ', IF(LENGTH(INDEX_NAME) < 30,INDEX_NAME,SUBSTRING(INDEX_NAME,1,30)) ,' ', ' ON ',
2020-02-24 20:14:26
原创 quartz簡單使用小結
Quartz 第一種，作業類繼承自特定的基類：org.springframework.scheduling.quartz.QuartzJobBean。 第一步：定義作業類 Java代碼 import org.qua
2020-02-24 20:14:26
原创 根據兩點經緯度計算距離
根據兩點經緯度計算距離 這些經緯線是怎樣定出來的呢？地球是在不停地繞地軸旋轉（地軸是一根通過地球南北兩極和地球中心的 假想線），在地球中腰畫一個與地軸垂直的大圓圈，使圈上的每一點都和南北兩極的距離相等，這個圓圈 就叫作“赤道”。在赤道
2020-02-24 20:14:26
原创 nload安裝
yum install gcc gcc-c++ ncurses-devel wget http://www.roland-riegel.de/nload/nload-0.7.2.tar.gz tar zxvf nload-0.7
2020-02-24 20:14:26
原创 hadoop常用命令
啓動Hadoop 進入HADOOP_HOME目錄。執行sh bin/start-all.sh 關閉Hadoop 進入HADOOP_HOME目錄。執行sh bin/stop-all.sh 1、查看指定目錄下內容 hadoop df
2020-02-24 20:14:26
原创 mysql show processlist整理
Show processlist 在Show processlist輸出中的Status項: 5.1手冊中沒有的或者翻譯有問題的，都附帶5.5原文說明： After create This occurs when the thre
2020-02-24 20:14:26
1
原创 Mysql主從同步延遲與系統時間的關係
Mysql主從同步延遲與系統時間的關係 ysql主從同步延遲受到多種因素影響， 比如大事務， 從庫查詢壓力， 網路延遲等； 這些比較常見； 但還受到主從機器系統時鐘差的影響，這一點可能容易被忽視。 上週， 就遇到了這樣的情況，
2020-02-24 20:14:26