原创 面試問題設計模式:單例模式整理(轉發)

1、懶漢式 懶漢式,顧名思義就是實例在用到的時候纔去創建,“比較懶”,用的時候纔去檢查有沒有實例,如果有則返回,沒有則新建。有線程安全和線程不安全兩種寫法,區別就是synchronized關鍵字。 2、餓漢式 餓漢式,從名字上也很好理

原创 Scala 中的協變,逆變和非變

  協變、逆變、非變介紹 協變和逆變主要是用來解決參數化類型的泛化問題。Scala 的協變與逆變是非常有特色 的,完全解決了Java中泛型的一大缺憾;舉例來說,Java中,如果有 A 是 B 的子類,但 Card[A] 卻不是 Card[

原创 spark常用rdd整理

tranformationRDD 轉換 rdd: map(func)  返回一個新的RDD,該RDD由每一個輸入元素經過func函數轉換後組成  filter(func)  返回一個新的RDD,該RDD由經過func函數計算後返回值爲t

原创 spark程序設置日誌輸出級別

sc.setLogLevel("ERROR")

原创 Hadoop-HA高可用集羣搭建步驟整理

第一步:首先準備搭建背景 1.修改Linux主機名 2.修改IP 3.修改主機名和IP的映射關係 /etc/hosts 4.關閉防火牆 5.ssh免登陸 6.安裝JDK,配置環境變量等 7.注意集羣時間要同步     集羣部署節點角色的規

原创 無效的源發行版異常處理

異常: 解決方案: 原因是因爲我們maven使用的jdk和我們pom文件中所規定的版本不一致,檢查自己工程pom文件,在編譯插件中將1.8修改爲1.7即可 如果忘記自己maven設置的運行tomcat的jdk版本,可以在setting

原创 Linux命令:tail -f 與tail -F的區別

tail -f        等同於--follow=descriptor,根據文件描述符進行追蹤,當文件改名或者刪除時,停止追蹤. tail -F       等同於--follow=name -retry ,根據文件名進行追蹤,並保持

原创 Linux命令:netstat 網絡監聽

netstat命令用來打印Linux中網絡系統的狀態信息,可讓你得知整個Linux系統的網絡情況。 語法 netstat(選項) 選項 -a或--all:顯示所有連線中的Socket; -A<網絡類型>或--<網絡類型>:列出該網絡類

原创 問題解決:端口占用問題解決

異常: 服務運行時產生端口占用問題     解決方法: 1.第一種情況是你新建服務設置端口    查看端口占用情況:在cmd中輸入netstat -ano,按下回車鍵    查看自己設置的端口是否已經被佔用,勤快的可以修改端口 2.第二種

原创 Spark之中map與flatMap的區別

Spark之中map與flatMap的區別 一直不太明白spark之中map與flatMap之間的區別。map的作用很容易理解就是對rdd之中的元素進行逐一進行函數操作映射爲另外一個rdd。flatMap的操作是將函數應用於rdd之中的每

原创 Linux命令:netstat

netstat命令用來打印Linux中網絡系統的狀態信息,可讓你得知整個Linux系統的網絡情況。 語法 netstat(選項) 選項 -a或--all:顯示所有連線中的Socket; -A<網絡類型>或--<網絡類型>:列出該網絡類

原创 Linux命令:df

df命令用於顯示磁盤分區上的可使用的磁盤空間。默認顯示單位爲KB。可以利用該命令來獲取硬盤被佔用了多少空間,目前還剩下多少空間等信息。 語法 df(選項)(參數) 選項 -a或--all:包含全部的文件系統; --block-size

原创 Linux命令:find

find命令用來在指定目錄下查找文件。任何位於參數之前的字符串都將被視爲欲查找的目錄名。如果使用該命令時,不設置任何參數,則find命令將在當前目錄下查找子目錄與文件。並且將查找到的子目錄和文件全部進行顯示。 語法 find(選項)(參

原创 HBase的rowkey的設計原則

HBase的rowkey的設計原則 HBase是三維有序存儲的,通過rowkey(行鍵),column key(column family和qualifier)和TimeStamp(時 間戳)這個三個維度可以對HBase中的數據進行快速

原创 String... 用於在方法參數中定義多個String類型參數

調用此方法時,參數可以是多個!