原创 本地IDEA中使用Spark SQL 連接服務器Hive
1. 複製hive-site.xml 將Spark-Home/conf目錄下的hive-site.xml複製到IDEA工程的resource目錄下 2. 修改入口 Spark 2.x版本將SparkContext和HiveContext整
2019-02-20 15:27:45
3
原创 推特開發者申請標準化流程20190117
因爲csdn不支持文檔上傳 大家可以下載https://download.csdn.net/download/jzy3711/10925116方便查看文檔 如果申請失敗就不能再申請了 我申請了一個 失敗後 2個多月了 也沒辦法重新申請。
2019-01-18 14:59:16
原创 linux ntp 時間同步 以及時區更改
國家授時中心：ntp.ntsc.ac.cn 更新本服務器的時間 ntpdate -u ntp.ntsc.ac.cn vi /etc/ntp.conf server ntp.ntsc.ac.cn /bin/systemctl restart
2019-01-12 15:08:08
1
原创 Spark on Hive：入門
Spark on Hive：入門 版本兼容性 spark安裝 配置YARN 配置Hive 配置屬性詳細信息 配置Spark 調整細節 常見問題（綠色已解決，將從此列表中刪除） 推薦配置 設計文件 Hive on Spark爲Hiv
2019-01-09 15:10:03
14
原创 java刪除文件中的回車換行
import java.io.*; /** * Created by jzy on 2018/12/24. */ public class TestFile { public static void main(String
2018-12-25 16:25:05
原创 CentOS系統SSH免密後依然需要輸入密碼(已解決)
1、問題 通過ssh-keygen -t rsa和ssh-copy-id -i node1操作後，免密登錄依然需要輸入密碼。 [root@node1 ~]# ssh node1 The authenticity of host 'nod
2018-12-12 14:26:10
原创 HDFS，HBASE部分優化——基於大數據的全球能源信息系統
HDFS優化 DataNode打開最大文件數配置 操作場景 一個HDFS Datanode同時打開的文件數量是有上限的，該上限是通過參數dfs.datanode.max.transfer.threads設置的，默認值爲4096。根據
2018-12-12 14:26:10
原创 使用HDFS fsck api在頁面上快速查找文件
目的因業務需求需要查找hfds上不合規的文件 因無法登陸客戶的服務器，但提供了vpn 可以訪問hdfs50070端口 使用fsck api即可 訪問url : http://1x.x.x.x:50070/fsck?ugi=hadoop&p
2018-12-12 14:26:10
原创 MongoDB WARNING: soft rlimits too low. rlimits set to 4096 processes, 65536 files.
[root@pc1 bin]# ./mongo MongoDB shell version v4.0.4 connecting to: mongodb://127.0.0.1:27017 Implicit session: session
2018-12-07 14:59:28
4
原创 org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Start of Array expected
建表語句 api="TodayHot" hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json
2018-12-07 14:59:28
4
原创 正負面情感詞（中文 來源微博）
負面： 搥胸頓足 哀哀切切 哀愁 哀憐 哀憫 哀慼 哀悽 哀切 哀傷 哀痛 哀痛欲絕 哀怨 哀慟 哀矜 傲視 懊恨 懊悔 懊惱 懊喪 百無聊賴 敗興 板臉 板面孔 板起臉 板着臉 板着面孔
2018-12-07 14:59:28
4
原创 ambari HDP 刪除卸載腳本(可用需要修改)
cat del.ship_array=("10x.30.5.180" "10x.30.5.181" "10x.30.5.182" "10x.30.5.183" "10x.30.5.184" "10x.30.5.185" "10x.30.5
2018-12-07 14:59:28
1
原创 mongodb 配置文件
mongodb 配置文件 本文檔是在mongodb爲3.4下編寫的，僅作爲參考，詳細內容請參考：https://docs.mongodb.com/manual/reference/configuration-options/#config
2018-11-28 13:02:06
7
原创 mysql specified key was too long與Index column size too large. The maximum column size is 767 bytes.
第一個問題：要設置utf-8就好； Index column size too large. The maximum column size is 767 bytes. 第一步：use 進入數據庫 執行： set global inno
2018-11-28 13:02:06
原创 hive 雙分區外部表 複合數據結構處理 json list map互相嵌套
api="TopicHeatTrend" hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json
2018-11-20 00:22:51