原创 Spark中的checkpoint作用與用法 Spark中的checkpoint作用與用法

Spark中的checkpoint作用與用法checkpoint的意思就是建立檢查點,類似於快照,例如在spark計算裏面 計算流程DAG特別長,服務器需要將整個DAG計算完成得出結果,但是如果在這很長的計算流程中突然中間算出的數據丟失了

2018-08-22 06:34:09

原创 storm消息容錯機制（ack-fail）

storm消息容錯機制（ack-fail）1、介紹在storm中，可靠的信息處理機制是從spout開始的。一個提供了可靠的處理機制的spout需要記錄他發射出去的tuple，當下遊bolt處理tuple或者子tuple失敗時spout能夠

2018-08-22 06:34:08 2

原创 Hive 數據傾斜解決方案（調優）

Hive 數據傾斜解決方案（調優） 在做Shuffle階段的優化過程中，遇到了數據傾斜的問題，造成了對一些情況下優化效果不明顯。主要是因爲在Job完成後的所得到的Counters是整個Job的總和，優化是基於這些Counters得出的平均

2018-08-22 06:34:08

原创 修改/usr 權限後，不能使用su/sudo

運行su,報錯：su: Authentication failure解決方法：chown root:root  /bin/suchmod 4755 /bin/su或者運行sudo時，報如下這個錯誤sudo: must be setuid

2018-08-22 06:34:07 7

原创 Linux 的硬鏈接與軟鏈接詳解

理解 Linux 的硬鏈接與軟鏈接Linux 的文件與目錄現代操作系統爲解決信息能獨立於進程之外被長期存儲引入了文件，文件作爲進程創建信息的邏輯單元可被多個進程併發使用。在 UNIX 系統中，操作系統爲磁盤上的文本與圖像、鼠標與鍵盤等輸入

2018-08-22 06:34:06

原创 Mysql limit offset 用法示例

Mysql limit offset示例例1，假設數據庫表student存在13條數據。 代碼示例:語句1：select * from student limit 9,4語句2：slect * from student limit 4 o

2018-08-22 06:34:06

原创 Vmware14安裝蘋果系統macos

使用Vmware14安裝蘋果系統macos一、工具&材料：1、Vmware 14 pro；2、用於VMware 12的mac補丁，unlocker：項目地址:  https://github.com/DrDonk/unlocker這個補丁

2018-08-22 06:34:06 1

原创 kafka 知識總結

1.kafka 知識總結1、kafka是什麼類JMS消息隊列，結合JMS中的兩種模式，可以有多個消費者主動拉取數據，在JMS中只有點對點模式纔有消費者主動拉取數據。kafka是一個生產-消費模型。Producer：生產者，只負責數據生產，

2018-08-22 06:34:06

原创 IntelliJ IDEA debug使用教程

IntelliJ IDEA debug使用教程在調試代碼的時候，你的項目得debug模式啓動，也就是點那個綠色的甲蟲啓動服務器，然後，就可以在代碼裏面斷點調試啦。下面不要在意，這個快捷鍵具體是啥，因爲，這個keymap是可以自己配置的，有

2018-08-22 06:34:06

原创 Java 讀取 .properties 配置文件的幾種方式

Java 讀取 .properties 配置文件的幾種方式Java 開發中，需要將一些易變的配置參數放置再 XML 配置文件或者 properties 配置文件中。然而 XML 配置文件需要通過 DOM 或 SAX 方式解析，而讀取 pr

2018-08-22 06:30:00

原创 java中queue的使用

java中queue的使用Queue接口與List、Set同一級別，都是繼承了Collection接口。LinkedList實現了Queue接 口。Queue接口窄化了對LinkedList的方法的訪問權限（即在方法中的參數類型如果是Qu

2018-08-22 06:29:58 1