原创 Kafka直連方式存儲MySQL
記得在之前寫了一篇是MySQL基礎使用的,這次就用MySQL來保存Direct方式的偏移量。 代碼如下: package kafka1 import kafka.common.TopicAndPartition import ka
原创 Kafka直連存儲HBase
在之前介紹了Kafka與SparkStreaming交互的兩種方式,我提到了公司採用的是Direct方式,這次我向大家分享一下將偏移量存儲在HBase中。 代碼如下: package kafka1 import kafka.com
原创 Kafka直連存儲ZK
這次的博客向大家介紹一下將偏移量存儲在Zookeeper中。 我在註明書寫邏輯的地方,可以在那裏對RDD進行算子操作。 package kafka1 import kafka.common.TopicAndPartition
原创 Linux安裝CentOS6.5mini版全攻略
在使用VMware裝CentOS6.5mini的時候,會出現如下圖這種情況(/etc/rc5.d/s99local : line 25 : eject : command not found ),解決方案有兩種:一、這時按CTRL
原创 leetcode反轉鏈表
1.遞歸法 public ListNode reverseList(ListNode head) { if(head==null||head.next==null) return head; L
原创 LeetCode兩數之和
class Solution { public ListNode addTwoNumbers(ListNode l1, ListNode l2) { if(l1==null){ l1=n
原创 尋找兩個有序數組的中位數
class Solution { public double findMedianSortedArrays(int[] nums1, int[] nums2) { int i=0,j=0; List<
原创 linux中定時任務的建立
在工作過程中,一般是需要寫一些腳本,週期性的去執行它。可以使用Azkaban來調度,也可以編寫linux上的定時任務,對於初學者來說使用定時任務就已經足夠了,Azkaban主要還是用於一連貫的工作流。接下來,我就簡單講解一下定時任務怎
原创 Azkaban錯誤解決
在azkaban中有時候明明代碼沒有錯誤,可就是運行不出來,報這樣的錯誤: azkaban.jobExecutor.utils.process.ProcessFailureExceptionazkaban.jobExecutor.ut