原创 關於DistroWatch
什麼是DistroWatch？DistroWatch是一個致力於討論，審閱和保持開源 操作系統最新信息的網站。這個站點特別關注Linux 發行版和BSD版本，儘管有時還會討論其他開源操作系統。Linux發行版上有很多信息，該站點試圖以一致
2020-03-03 22:29:55
原创 修改SBT倉庫（IDEA+Windows）
因爲SBT的倉庫在國外，所以在國內使用IDEA創建SBT項目非常慢。 解決辦法：修改SBT倉庫爲國內的地址。 1、添加配置文件 在SBT的倉庫路徑下新建repositories文件，注意：文件名爲repositories，沒有後綴。 例如
2020-03-01 21:01:31
原创 使用IDEA打包Spark應用程序（Windows+Maven+Scala）
1、編寫Spark應用程序 參考我的上一篇博文：《使用IDEA編寫Spark應用程序（Windows+Maven+Scala）》 2、打包配置 單擊菜單File->Project Structure， 在彈出的界面選擇Artifacts-
2020-02-29 20:39:11
原创 使用IDEA編寫Spark應用程序
1、新建Maven工程 File->New->Project->Maven->Next Name:SimpleApp，如下所示： 2、修改pom.xml配置文件，如下所示： <?xml version="1.0" encoding="
2020-02-28 19:42:48
原创 Bash腳本簡介
Bash腳本簡介 Shell程序是命令解釋器。它不僅是操作系統內核和用戶之間的隔離層，還是一種功能強大的編程語言。Shell程序稱爲腳本，是一種易於使用的工具，可通過“粘合”在一起構建應用程序系統調用，工具，實用程序和已編譯的二進制文件。
2020-02-26 19:00:10
原创 GNU/Linux Distribution Timeline v12.10
GNU/Linux Distribution Timeline v12.10 GNU/Linux發行時間線v12.10 下載鏈接：GNULinux Distribution Timeline 12.10.png
2020-02-26 19:00:10
原创 UNIX工具箱
UNIX工具箱 本文檔是Unix/Linux/BSD命令和任務的集合，這些命令和任務對IT工作或高級用戶非常有用。這是一個實用的指南，有簡明的解釋，但是讀者應該知道他/她在做什麼。 Unix工具箱版本14.5 此文檔的最新版本可以在htt
2020-02-20 15:35:12
原创 什麼是Hadoop？大數據與Hadoop簡介
要了解什麼是Hadoop，我們必須首先了解與大數據和傳統處理系統有關的問題。前進，我們將討論什麼是Hadoop，以及Hadoop如何解決與大數據相關的問題。我們還將研究CERN案例研究，以突出使用Hadoop的好處。 在之前的博客“ 大
2020-02-20 15:35:11
原创 CentOS 執行 source /etc/profile命令時，報錯：-bash: ＃: 未找到命令
問題描述： CentOS 執行 source /etc/profile命令時，報錯：-bash: ＃: 未找到命令 如下所示： [root@localhost ~]# source /etc/profile -bash: ＃: 未找到命
2020-02-20 15:35:11
原创 LDP 維基
The Linux Documentation Project LDP Wiki： LDP維基是一個正在進行的任何工作的切入點會員 | 作者 | 參觀者 文件資料 如何： 特定主題的幫助最新更新 | 主要指標 |
2020-02-20 15:35:10
原创 啓動 HDFS 守護進程報錯：ERROR: Attempting to operate on hdfs namenode as root...
啓動 HDFS 守護進程報錯：ERROR: Attempting to operate on hdfs namenode as root... 錯誤信息，如下所示： [root@localhost sbin]# start-dfs.sh
2020-02-20 15:35:10
原创 Spark 集羣模式概述
Spark 集羣模式概述 本文檔簡要概述了Spark如何在羣集上運行，以使您更容易理解所涉及的組件。通讀應用程序提交指南， 以瞭解有關在集羣上啓動應用程序的信息。 組件 Spark應用程序在羣集上作爲獨立的進程集運行，由SparkCont
2020-02-20 15:35:10
原创 Hadoop集羣設置
Hadoop集羣設置 目的 先決條件 安裝 在非安全模式下配置Hadoop Hadoop守護程序的配置環境 配置Hadoop守護程序 監視NodeManager的運行狀況 Slaves文件 Hadoop機架感知 記錄中 操作Hadoop
2020-02-20 15:35:10
原创 Hadoop Java 版本
支持的Java版本 Apache Hadoop 3.x現在僅支持Java 8 從2.7.x到2.x的Apache Hadoop支持Java 7和8 Java的11支是現在進行時： HADOOP-15338 - Java 11 runt
2020-02-20 15:35:10
原创 Spark 在YARN上運行
在YARN上運行Spark 安全 在YARN上啓動Spark 添加其他JAR 準備工作 組態 調試您的應用程序 Spark特性 重要筆記 的Kerberos YARN特定的Kerberos配置 Kerberos故障排除 配置外部隨機
2020-02-20 15:35:10