原创 Window下Spark環境搭建（可跑代碼調試）

前言 這篇博客是在同事的幫忙下完成的，這裏我做一個記錄，感謝牛逼的同事一波先。哈哈。 本篇博客目的是指導搭建一個Spark的調試環境，在Win10下面。 本人使用的開發工具是IDEA，博客裏面用的的所有依賴包會在博客後面分享給需要的朋

2019-01-09 16:08:41 23

原创 記一次hadoop環境搭建中DataNode啓動失敗的問題！

hadoop的下載 使用的是Hadoop 2.6.0-cdh5.15.0這個版本。 之前爲了搭建hadoop，看了很多網站上的文章，到了自己動手，出現一個奇怪的問題。 就是我格式化hdfs以後，datanode節點啓動失敗！ 下面看看

2019-01-09 16:08:41 1

原创 spark-1.6.0-cdh5.15.2的使用

前言 想搭建一個spark的環境，所以用了cdh的包，一開始去了官網找，溜了一圈，找不到（內心是崩潰的）。 救助朋友，對給我一地址http://archive.cloudera.com/cdh5/cdh/5/。 下載了需要的文件。 友

2018-12-28 23:15:54

原创 centos7虛擬機配置靜態ip

說明 需要配置下面2個文件ifcfg-enp0s3、/etc/networks 這邊的環境是網絡橋接、使用Centos7虛擬機 [root@miv ~]# cat /etc/sysconfig/network-scripts/ifcf

2018-12-28 23:15:54

原创 IDEA安裝Scala、sbt環境

前言 興趣而言，需要學習大數據方面的（Spark），而裏面的一些Api使用Scala比較簡潔明瞭。 所以便想在本機Idea上面多安裝一個Scala環境 軟件下載 下載Scala插件 這一步操作比較簡單，如圖 進行安裝就行 下載sb

2018-12-25 17:25:04 2

原创 IDEA的UI插件Material Theam UI:讓開發工具更加美觀，程序員效率更nice

前言 感覺Idea的2個默認主題挺好用的，比如白色的，看起來舒服 ，不過白天用這個犯困。 黑色的那個主題白天用挺好的，不過，想嚐嚐鮮，換換主題，緩解心情。 所以溜了一圈。找了這麼一個插件。 安裝 配置 安裝之後重新啓動IDEA就會進

2018-12-23 14:24:35

原创 Netty實現tcp通訊(telent發送消息)

前言 參考Netty官網文檔的例子,加了編碼器、解碼器。 實現了簡單的tcp通訊。 代碼很簡單，最後我們會用Linux下的Telnet命令連接到服務端。並且給服務端發送消息。 代碼 tcp服務端 package netty; imp

2018-11-30 16:12:55

原创 Freemarker模板生成實例

前言 之所以想了解代碼生成器，是因爲mybatis的一個非常好用的輪子mybatisplus，還有spring boot這一些厲害的軟件都內置了代碼生成方面的內容，這些我挺感興趣的。 首先，可以先跑去Freemarker官網看看。相關

2018-11-26 01:08:24 1

原创 Webstorm配置Yarn包管理工具(試用嚐鮮)

前言 Yarn 對你的代碼來說是一個包管理器， 你可以通過它使用全世界開發者的代碼， 或者分享自己的代碼。Yarn 做這些快捷、安全、可靠，所以你不用擔心什麼。 通過Yarn你可以使用其他開發者針對不同問題的解決方案，使自己的開發

2018-11-20 23:06:21 295