原创 centos 6修改ip 設置初始IP
快捷設置IP ifconfig eth1 192.168.50.100/24 vim /etc/sysconfig/network-scripts/ifcfg-eth1 #粘貼 DEVICE=eth1 IPADDR=192
2020-02-23 12:13:06
原创 linux下執行java程序時切換JDK環境
有時在服務器上部署的程序可能是在不同的jdk版本下編譯的 這時候 就需要運行時動態選擇不同的jre環境運行，而不是依賴系統配置的環境變量 這裏可以藉助shell腳本 #!/bin/bash export JAVA_HOME=/da
2018-12-25 19:20:59
原创 Scala語言與Play框架入門教程
Scala語言簡介 Scala語言編譯後的代碼直接運行在Java虛擬機之上，可調用所有的Java代碼庫，Scala設計目標是成爲比Java更好的語言。Scala同時具備和整合了面向對象及函數式的編程特性。 Play框架簡介 Play Fr
2018-08-28 14:40:05
1
原创 hive 環境搭建
前提 hadoop 集羣已經啓動並搭建完畢，mysq已經安裝完畢 1.解壓hive tar -zvxf apache-hive-0.14.0-bin.tar.gz -C /usr/local/ mv apache-hi
2018-08-28 14:40:05
1
原创 Hadoop 添加節點和刪除節點
一。增加節點 1.解壓hadoop程序，並把namnode的配置文件複製到配置文件目錄下 2.修改namenode的slaves文件增加該節點 3.在該節點對ssh,hosts，jdk 進行配置，並修改所有節點的/etc/hosts
2018-08-28 14:40:05
3
原创 Java常見的幾種內存溢出
一.java.lang.OutOfMemoryError:Java heap space： 解決方法： 1.檢查程序，看是否有死循環或不必要地重複創建大量對象 2.修改這兩個參數來增加堆內存 -Xms3062m 設置
2018-08-28 14:40:05
2
原创 Linux top命令詳解
最近發現執行Spark SQL 查詢的時候有一個節點的Executor 總是很慢 使用top命令發現該節點的cpu IO等待很高 遂感覺top是個很好的工具 故而將top命令的詳細使用整理出來 使用SSHClient客戶端連接到
2018-08-28 14:40:05
2
原创 hive的dual表
dual表的概念來自oracle，數據庫建立時即與數據字典一起初始化，該表只有一個varchar2類型名爲dummy的字段，表數據只有一行“X”，用來查詢一些系統信息， 如 select sysdate from dual; sele
2018-08-28 14:40:05
4
原创 windows如何批量修改文件名
因爲工作需要 有時候需要批量修改excel文件 故將方法分享出來 1.在F盤建立一個文件夾，將批量生成的excel放置於該文件夾中，如下圖所示 2 鼠標左鍵點擊，開始-》運行-》在對話框中輸入字母“cmd”，進入dos模式 ，如下圖所
2018-08-28 14:40:05
3
原创 eclipse插件OpenExplorer快速打開文件目錄
1.在使用eclipse開發時有事需要訪問文件所在的文件夾，默認的eclipse沒有快速打開windows資源管理器的功能，只能右鍵屬性然後再打開很不方便。 2.OpenExplorer這個插件可以滿足這個功能，下載地址 https:
2018-08-28 14:40:05
2
原创 eclisep安裝反編譯插件jadClipse
我的eclipse版本 先下載jadClipse的jar包 鏈接：https://sourceforge.net/projects/jadclipse/ 然後，將net.sf.jadclipse_3.3.0.jar拷貝到eclip
2018-08-28 14:39:54
1
原创 centos 下安裝vim 及vim的一些使用技巧
查看是否已安裝 rpm -qa|grep vim 安裝命令 yum -y install vim* 顯示行號 在 vim 裏執行(在普通模式下直接按冒號，並輸入下面的命令) :set number 在VIM模式下 按”0″ , 是
2018-08-28 14:39:54
3
原创 secureCRT 讓linux vim工具 顯示顏色
衆所周知 VIM具有很好的顏色顯示功能，並且還支持許多程序語法，是編寫shell腳本的一大利器。但是通過secureCRT 連接linux 需要經過一些配置 才能把這樣的效果顯示出來 1.確認已經安裝的vim rpm -qa|grep
2018-08-28 14:39:54
2
原创 HDFS副本存放策略
第一個block副本放在和client所在的node裏（如果是集羣外提交，則隨機挑選一臺磁盤不太慢、CPU不太忙的節點上）。 第二個副本放置在與第一個節點不同的機架中的node中（隨機選擇）。 第三個副本和第二個在同一個機架，隨機
2018-08-28 14:39:53
4
原创 spark解決 org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow
使用spark sql 的 thrift jdbc接口查詢數據時報這個錯誤 Exception in thread "main" java.sql.SQLException: org.apache.spark.SparkException
2018-08-28 14:39:53