原创 Linux:解決虛擬機可以ping通，但是不能SSH遠程登錄的問題
問題分析 首先，Linux可以互相ping通，說明Linux的網絡配置沒有問題，那麼就專注解決SSH的問題。 可能原因 Linux防火牆沒有關閉，導致SSH連接失敗（關閉防火牆） LinuxSSH服務沒有啓動，查看是否啓動SSH服務 S
2018-09-04 22:39:09
原创 Spark DataFrame:value $ is not a member of StringContext df.select($"name", $"age" + 1).show()
錯誤信息 Error:(29, 15) value $ is not a member of StringContext df.select($"name", $"age" + 1).show() 解決方案 ··· //在創建S
2018-09-04 22:39:09
原创 Hadoop Yarn RM啓動失敗提示：transport error 202: bind failed:地址已佔用
問題原因 集羣開啓了遠程Debug，當這個端口被佔用時，出現此問題導致RM啓動失敗 主要啓動參數 transport=dt_socket,server=y,suspend=n,address=*
2018-09-04 22:39:09
2
原创 CDH 版本下載庫
CDH 版本下載庫 https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_57.html
2018-09-04 22:39:08
原创 Falcon（一）——數據集管理和數據處理平臺
目的： 使終端用戶在面向Hadoop集羣進行數據集處理和數據集管理更加容易。 原因 在Hadoop環境中，在各種數據集和處理關係之間建立關係 在集羣中進行數據集管理例如數據集聲明週期、數據集複製等 抓取數據集或者處理過程的血統信息。 允
2018-08-29 18:21:25
4
原创 ES-基礎命令總結
1. 創建索引 POST http://localhost:9200/movies 創建成功提示： { "acknowledged": true } 2. 查看索引的狀態 //瀏覽器中執行 http://ds0:9200/_cat/
2018-08-29 18:15:03
原创 HBase-錯誤記錄
1. windows遠程開發HBase提示：java.net.UnknownHostException: unknown host: master 解決方案： C:\WINDOWS\system32\drivers\etc\hosts中添
2018-08-29 18:15:03
125
原创 oozie on spark2:部署Oozie4.3.0出現部署錯誤
錯誤詳情 Exception in thread "main" java.lang.NoClassDefFoundError: javax/servlet/Filter at java.lang.ClassLoader.defin
2018-08-29 18:15:02
1
原创 ES-基礎知識總結
學習目標 熟悉ES中index，shard，type，document，倒排索引等概念以及Client API。 作用 高度可擴展的開源全文搜索與分析引擎 快速地、近實時的對大數據進行存儲、搜索與分析 用來支撐有負責的數據搜索需求的企業
2018-08-29 18:15:02
原创 hadoop生態系統的詳細介紹
前提 日常喜歡看一些微信分享的好文，總結下來，可以作爲過濾器吧（節約更多人的時間！），在這裏引用的是別人的文章！對原文的作者表示感謝！確實寫的很好！ hadoop生態系統的詳細介紹 簡介 Hadoop是一個開發和運行處理大規模數據的
2018-08-29 18:15:02
1
原创 ES-倒排索引
來源 來源於需要根據屬性的值來查找響應的記錄 該種索引表中的每一項都包括一個屬性值和具有該屬性值的各記錄的地址 是由屬性值來確定記錄的位置 倒排索引是實現單詞到文檔映射關係的最佳實現方式和最有效的索引結構 包含內容 單詞詞典 : 文
2018-08-29 18:15:02
原创 oozie on spark2:運行Oozie中自帶的Yarn出現問題
運行Oozie中自帶的Yarn出現問題： Error: Could not load YARN classes. This copy of Spark may not have been compiled with YARN supp
2018-08-29 18:15:02
原创 Can't connect to X11 window server using 'localhost:12.0' as the valu e of the DISPLAY variable.
錯誤描述 at sun.awt.X11GraphicsEnvironment.initDisplay(Native Method) at sun.awt.X11GraphicsEnvironment.access$200(
2018-08-29 18:15:02
8
原创 oozie on spark2:Failing Oozie Launcher, main() threw exception, null
問題詳情 iling Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, null java.lan
2018-08-29 18:15:02
原创 oozie on spark2:基於Yarn運行Spark2時出現的錯誤說明（scala does not exist; make sure Spark is built.）
Oozie adds all of the jars in the Oozie Spark sharelib to the DistributedCache such that all jars will be present in th
2018-08-29 18:15:02