原创 scala使用hbase新api
import org.apache.hadoop.hbase.{HTableDescriptor,HColumnDescriptor,HBaseConfiguration,TableName} import org.apache.
2020-02-20 19:19:17
原创 解決sqoop需要輸入密碼的問題
修改配置文件：vi /etc/sqoop/conf/sqoop-site.xml <property> <name>sqoop.metastore.client.record.password</name> <va
2020-02-20 19:19:17
原创 CM給hive添加自定義jar包
使用的是cloudera manager管理的集羣： hive添加自定義jar包 服務端：高級：Hive 輔助 JAR 目錄 設置的的路徑是影響所有服務端的設置，比如hue中使用到了hive查詢編輯器，在裏面寫HQL要用到自定義的
2020-02-20 19:19:17
原创 CM添加kafka服務
下載所需的包： 在http://archive.cloudera.com/kafka/parcels/latest/ 選擇合適parcel下載： ubuntu14.04的cdh5.5.1對應包 http://archive.
2020-02-20 19:19:17
原创 centos7離線安裝軟件和軟件包組
需求： 在一個只有內網的服務器中安裝某些需要進行源碼編譯的軟件，並且該軟件具有大量的依賴，最坑的是服務器只安裝了基本的軟件，現在需要手動將Development Tools軟件包組安裝到該服務器，然後完成所需軟件的編譯安裝。 常用
2019-01-26 03:07:25
10
原创 airflow整體架構
run命令運行過程 讀取dag文件生成task依賴關係，然後生成封裝airflow run的command命令，通過celery發送到executor端，重新執行該airflow run命令。 scheduler命令運行過程： 調度器
2018-11-04 12:32:56
10
原创 spark2.1源碼分析1：Win10下IDEA源碼閱讀環境的搭建
環境：win10、IDEA2016.3、maven3.3.9、git、scala 2.11.8、java1.8.0_101、sbt0.13.12 下載： #git bash中執行： git clone https://github.com
2018-09-04 19:54:56
原创 spark2.1源碼分析2：從SparkPi分析一個job的執行
從SparkPi的一個行動操作入手，選擇Run–Debug SparkPi進入調試： F8：Step Over F7：Step Into 右鍵Run to Cursor Ctrl+B 查看定義 導航–Back和Forward S
2018-09-04 19:54:56
原创 spark2.1源碼分析4：spark-network-common模塊的設計原理
spark-network-common模塊底層使用netty作爲通訊框架，可以實現rpc消息、數據塊和數據流的傳輸。 Message類圖： 所有request消息都是RequestMessage的子類 所有response消息
2018-09-04 19:54:56
原创 impala daemon啓動失敗
啓動錯誤日誌： perl: warning: Setting locale failed. perl: warning: Please check that your locale settings: LANGUAGE = (un
2018-09-04 19:54:55
原创 Window10下安裝sbt
參考：https://segmentfault.com/a/1190000002474507 下載：https://dl.bintray.com/sbt/native-packages/sbt/0.13.11/sbt-0.13.11.tg
2018-09-04 19:54:55
原创 Springboot jar包外指定配置文件及原理
解決方案： 修改maven的pom.xml文件 不拷貝資源文件 <resources> <resource> <directory>src/main/resources</directory>
2018-09-04 19:54:55
9
原创 mysql連接狀態
mysql連接狀態 mysqladmin -uroot -h127.0.0.1 status mysqladmin -uroot -h127.0.0.1 processlist
2018-09-04 19:54:54
原创 spark streaming的有狀態例子
import org.apache.spark._ import org.apache.spark.streaming._ /** * Created by code-pc on 16/3/14. */ object Pi {
2018-09-04 19:54:54
原创 spark streaming插入hbase
import java.sql.{DriverManager, ResultSet} import org.apache.spark._ import org.apache.spark.streaming._ import scala
2018-09-04 19:54:54