原创 面試問題設計模式:單例模式整理(轉發)
1、懶漢式 懶漢式,顧名思義就是實例在用到的時候纔去創建,“比較懶”,用的時候纔去檢查有沒有實例,如果有則返回,沒有則新建。有線程安全和線程不安全兩種寫法,區別就是synchronized關鍵字。 2、餓漢式 餓漢式,從名字上也很好理
原创 Scala 中的協變,逆變和非變
協變、逆變、非變介紹 協變和逆變主要是用來解決參數化類型的泛化問題。Scala 的協變與逆變是非常有特色 的,完全解決了Java中泛型的一大缺憾;舉例來說,Java中,如果有 A 是 B 的子類,但 Card[A] 卻不是 Card[
原创 spark常用rdd整理
tranformationRDD 轉換 rdd: map(func) 返回一個新的RDD,該RDD由每一個輸入元素經過func函數轉換後組成 filter(func) 返回一個新的RDD,該RDD由經過func函數計算後返回值爲t
原创 spark程序設置日誌輸出級別
sc.setLogLevel("ERROR")
原创 Hadoop-HA高可用集羣搭建步驟整理
第一步:首先準備搭建背景 1.修改Linux主機名 2.修改IP 3.修改主機名和IP的映射關係 /etc/hosts 4.關閉防火牆 5.ssh免登陸 6.安裝JDK,配置環境變量等 7.注意集羣時間要同步 集羣部署節點角色的規
原创 無效的源發行版異常處理
異常: 解決方案: 原因是因爲我們maven使用的jdk和我們pom文件中所規定的版本不一致,檢查自己工程pom文件,在編譯插件中將1.8修改爲1.7即可 如果忘記自己maven設置的運行tomcat的jdk版本,可以在setting
原创 Linux命令:tail -f 與tail -F的區別
tail -f 等同於--follow=descriptor,根據文件描述符進行追蹤,當文件改名或者刪除時,停止追蹤. tail -F 等同於--follow=name -retry ,根據文件名進行追蹤,並保持
原创 Linux命令:netstat 網絡監聽
netstat命令用來打印Linux中網絡系統的狀態信息,可讓你得知整個Linux系統的網絡情況。 語法 netstat(選項) 選項 -a或--all:顯示所有連線中的Socket; -A<網絡類型>或--<網絡類型>:列出該網絡類
原创 問題解決:端口占用問題解決
異常: 服務運行時產生端口占用問題 解決方法: 1.第一種情況是你新建服務設置端口 查看端口占用情況:在cmd中輸入netstat -ano,按下回車鍵 查看自己設置的端口是否已經被佔用,勤快的可以修改端口 2.第二種
原创 Spark之中map與flatMap的區別
Spark之中map與flatMap的區別 一直不太明白spark之中map與flatMap之間的區別。map的作用很容易理解就是對rdd之中的元素進行逐一進行函數操作映射爲另外一個rdd。flatMap的操作是將函數應用於rdd之中的每
原创 Linux命令:netstat
netstat命令用來打印Linux中網絡系統的狀態信息,可讓你得知整個Linux系統的網絡情況。 語法 netstat(選項) 選項 -a或--all:顯示所有連線中的Socket; -A<網絡類型>或--<網絡類型>:列出該網絡類
原创 Linux命令:df
df命令用於顯示磁盤分區上的可使用的磁盤空間。默認顯示單位爲KB。可以利用該命令來獲取硬盤被佔用了多少空間,目前還剩下多少空間等信息。 語法 df(選項)(參數) 選項 -a或--all:包含全部的文件系統; --block-size
原创 Linux命令:find
find命令用來在指定目錄下查找文件。任何位於參數之前的字符串都將被視爲欲查找的目錄名。如果使用該命令時,不設置任何參數,則find命令將在當前目錄下查找子目錄與文件。並且將查找到的子目錄和文件全部進行顯示。 語法 find(選項)(參
原创 HBase的rowkey的設計原則
HBase的rowkey的設計原則 HBase是三維有序存儲的,通過rowkey(行鍵),column key(column family和qualifier)和TimeStamp(時 間戳)這個三個維度可以對HBase中的數據進行快速
原创 String... 用於在方法參數中定義多個String類型參數
調用此方法時,參數可以是多個!