原创 Kafka直連方式存儲MySQL

記得在之前寫了一篇是MySQL基礎使用的,這次就用MySQL來保存Direct方式的偏移量。 代碼如下: package kafka1 import kafka.common.TopicAndPartition import ka

原创 Kafka直連存儲HBase

在之前介紹了Kafka與SparkStreaming交互的兩種方式,我提到了公司採用的是Direct方式,這次我向大家分享一下將偏移量存儲在HBase中。 代碼如下: package kafka1 import kafka.com

原创 Kafka直連存儲ZK

這次的博客向大家介紹一下將偏移量存儲在Zookeeper中。 我在註明書寫邏輯的地方,可以在那裏對RDD進行算子操作。 package kafka1 import kafka.common.TopicAndPartition

原创 Linux安裝CentOS6.5mini版全攻略

在使用VMware裝CentOS6.5mini的時候,會出現如下圖這種情況(/etc/rc5.d/s99local : line 25 : eject : command not found ),解決方案有兩種:一、這時按CTRL

原创 leetcode反轉鏈表

1.遞歸法 public ListNode reverseList(ListNode head) { if(head==null||head.next==null) return head; L

原创 LeetCode兩數之和

class Solution { public ListNode addTwoNumbers(ListNode l1, ListNode l2) { if(l1==null){ l1=n

原创 尋找兩個有序數組的中位數

class Solution { public double findMedianSortedArrays(int[] nums1, int[] nums2) { int i=0,j=0; List<

原创 linux中定時任務的建立

在工作過程中,一般是需要寫一些腳本,週期性的去執行它。可以使用Azkaban來調度,也可以編寫linux上的定時任務,對於初學者來說使用定時任務就已經足夠了,Azkaban主要還是用於一連貫的工作流。接下來,我就簡單講解一下定時任務怎

原创 Azkaban錯誤解決

在azkaban中有時候明明代碼沒有錯誤,可就是運行不出來,報這樣的錯誤: azkaban.jobExecutor.utils.process.ProcessFailureExceptionazkaban.jobExecutor.ut