原创 JVM內存溢出導出映像文件方式
內存溢出自動導出 -Xmx32M -Xms32M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./ 使用jmap 命令手動導出 點贊 收藏
2020-02-22 05:17:12
原创 使用Hive UDF需要的CDH-maven依賴
環境相關： 開發主機：Win7 開發環境：IDEA hadoop版本：hadoop-2.6.0-cdh5.7.1 hive版本：hive-1.1.0-cdh5.7.1 # 配置文件如下： <?xml version="1.0"
2020-02-22 05:17:12
原创 obs+nginx+rtmp+web實現視頻直播網站
項目簡介：視頻直播網站由三個部分構成：1.推流端 2.服務器 3.拉流端。在該項目中，推流端用OBS完成，服務器由NGINX+RTMP模塊完成，拉流端使用video.js完成。 一、開發環境： 推流端：系統：UBUNTU 16.
2020-02-22 05:17:12
原创 CPU負載解決辦法
1. 查看CPU負載 使用top 命令 2. 打印出堆棧信息 [root@hadoop ~]# jstack PID > 7669.txt 3.把堆棧信息 [root@hadoop ~]# sz 7669,txt
2020-02-22 05:17:12
原创 sqoop各參數詳解
Sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql…)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到
2019-10-25 23:13:30
9
原创 Maven構建CDH開發大數據環境
使用cloudera hadoop開發hadoop程序，官方文檔上有兩種方法。第一種即把相應jar包拷貝到工程目錄中去，另一種即使用maven管理依賴jar包。 maven 依賴 1.默認倉庫找不到對應jar包，因此添加倉庫：
2019-10-25 23:13:30
1
原创 餘弦相似度計算
餘弦相似度計算 餘弦相似度用向量空間中兩個向量夾角的餘弦值作爲衡量兩個個體間差異的大小。餘弦值越接近1，就表明夾角越接近0度，也就是兩個向量越相似，這就叫"餘弦相似性"。 我們知道，對於兩個向量，如果他們之間的夾角越小，那麼我們
2019-09-06 21:38:52
原创 maven項目打包所有依賴包使用main方法運行
<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId>
2019-06-29 22:40:51
1
原创 配置允許匿名用戶登錄訪問vsftpd服務
這裏在centos7版本系統下驗證的。 在指定的目錄（如/var/ftp/software/）使用匿名用戶進行文檔的上傳下載操作，首先要求該目錄要有r和w權限。一般情況下，若要上傳文檔到該目錄，則需要用戶ftp對文檔有w的權限，若
2019-06-11 02:21:08
2
原创 Flume中agent的啓動命令
寫好agent配置文件，配置文件名爲flume-app.conf（指定source、channel和sink） 啓動agent配置文件命令如下： bin/flume-ng agent -c /opt/module/flume/conf
2019-05-14 01:04:45
原创 解決Elasticsearch-head插件鏈接不上服務
安裝插件head git clone git://github.com/mobz/elasticsearch-head.git cd elasticsearch-head npm install npm start 解決方案 vim
2019-05-06 15:35:50
原创 Hive提示警告SSL
一、問題 Hive能正常執行任務，但出現“WARN: Establishing SSL connection without server’s identity verification is not recommended.”告警
2019-04-21 07:16:03
原创 Sqoop運行時報錯java.lang.NoClassDefFundEorr: org/json/JSONObjct 解決
引入org.json依賴 在 maven 項目中使用 org.json ，需引入依賴： <!-- 引入org.json所需依賴 --> <dependency> <groupId>org.json</groupId>
2019-04-21 07:16:03
原创 hadoop HA分佈式集羣搭建
搭建前注意事宜： 注意：apache提供的hadoop-2.4.1的安裝包是在32位操作系統編譯的，因爲hadoop依賴一些C++的本地庫， 所以如果在64位的操作上安裝hadoop-2.4.1就需要重新在64操作系統上重新編譯 1.
2019-04-16 22:49:15
原创 azkaban的安裝部署
azkaban介紹 爲什麼需要工作流調度系統 一個完整的數據分析系統通常都是由大量任務單元組成： shell腳本程序，java程序，mapreduce程序、hive腳本等 各任務單元之間存在時間先後及前後依賴關係 爲了很好地組織起這樣
2019-01-21 20:09:40