原创 phoenix 修改表字段
主要記錄下apache phoenix 修改表字段的一種變通方式,僅供參考 CREATE TABLE IF NOT EXISTS t_appversion ( f_region_id VARCHAR, f_province
2020-07-06 14:09:40
原创 hive derby.log 位置
使用spark-sql連接hive 數據源 總會出現derby.log 文件，挺礙眼的。查了下資料 在$SPARK_HOME/conf/spark-defaults.conf 添加一下配置即可 spark.driver.extraJ
2020-07-06 14:09:40
原创 pip install 指定國內鏡像
今天使用pip下載scrapy 巨慢,查了下資料,可以指定源加速下載 pip install -i 第三方源 軟件包名 下載scrapy pip install -i https://pypi.tuna.tsinghua.e
2020-07-06 14:09:40
原创 CentOs6 配置網易源
Linux 中安裝軟件方式有多種,比如rpm,安裝卸載軟件很方便,但有個小缺點,安裝軟件時可能會有依賴.參考了網上部分資料，選擇yum方式管理軟件。 閒話少說，以下爲具體過程 1、下載repo文件 cd /etc/yum.repos.d
2020-06-10 17:12:15
原创 Spark Streaming場景應用-Kafka數據讀取方式
原文鏈接：https://my.oschina.net/u/1250040/blog/908571 概述 Spark Streaming 支持多種實時輸入源數據的讀取，其中包括Kafka、flu
2019-10-25 17:27:31
原创 updates is listed more than once in the configuration 解決方法
刪除所有/etc/yum.repo.d/目錄下所有repo文件，重新更換一遍源解決 更換其他源參考 https://mp.csdn.net/postedit/44259343
2019-10-25 17:27:21
原创 hive 動態分區無法刪除
最近生產環境出現了一個錯誤，spark無法寫入數據的到hive報以下錯誤 Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Invalid partition f
2019-08-02 16:54:18
19
原创 Hadoop及HBase使用過程中的一些問題集
本文是我在使用Hbase的過程碰到的一些問題和相應的解決方法，現將這些經過總結分析，以免日後忘記。hadoop新增節點 hadoop集羣要增加3個節點。在3臺主機分別配置了host、與集羣內所有機器的ssh登錄互信、jdk1.7 等。
2019-07-18 17:02:42
原创 網絡基本功(二)：細說交換機
網絡基本功(二)：細說交換機 轉載請在文首保留原文出處：EMC中文支持論壇https://community.emc.com/go/chinese 介紹 本節介紹交換機的幀轉發技術，MAC地址表的維護方式，三種幀
2018-08-23 17:56:47
1
原创 網絡基本功（一）：細說網絡傳輸
網絡基本功（一）：細說網絡傳輸 轉載請在文首保留原文出處：EMC中文支持論壇https://community.emc.com/go/chinese 介紹 常言道：欲練神功，必先練好基本功。之前做了一個關
2018-08-23 17:56:47
原创 HDFS 原理、架構與特性
1：當前HDFS架構詳盡分析 HDFS架構 •NameNode •DataNode •Sencondary NameNode 數據存儲細節 NameNode 目錄結構 Namenode 的目錄結構： ${ dfs.name.dir
2018-08-23 17:56:46
1
原创 spark1.6.0分佈式安裝
1. 概述 本文是對spark1.6.0分佈式集羣的安裝的一個詳細說明，旨在幫助相關人員按照本說明能夠快速搭建並使用spark集羣。 2. 安裝環境 本安裝說明的示例環境部署如下： IP 外網IP hostname
2018-08-23 17:56:46
1
原创 HDFS文件讀寫過程
HDFS讀文件過程： 客戶端通過調用FileSystem對象的open()來讀取希望打開的文件。對於HDFS來說，這個對象是分佈式文件系統的一個實例。DistributedFileSystem通過RPC來調用namenode，以確定
2018-08-23 17:56:46
3
原创 VMware克隆linux注意事項
VMware克隆linux基本上配置都不會有問題，唯一要改的就是網卡信息，防止和原網卡衝突。 1、修改網卡的MAC，一般可以到/etc/sysconfig/network-scripts/裏找到相應的網卡
2018-08-23 17:56:46
2