原创 【Oracle】 Oracle中用戶(User)和模式(Schema)的概念
本博客文章如無特別說明，均爲原創！轉載請註明出處：Big data enthusiast(http://www.lubinsu.com/)本文鏈接地址:【Oracle】 Oracle中用戶(User)和模式(Schema)的概念(htt
2020-02-25 12:14:40
原创 【Kafka】Kafka 1.0.1案例詳解之消息發佈訂閱
在本章內容中我們主要講解大家在生產系統中最常見，最基礎的發佈訂閱功能，也就是Producer API和Consumer API，然後在下一章節中我們將深入講解Kafka的Streams API、Connect API和Admin
2020-02-25 12:14:40
原创 【Hadoop】解決Hadoop 2.7.1無法加載本地庫問題
本博客文章如無特別說明，均爲原創！轉載請註明出處：Big data enthusiast(http://www.lubinsu.com/)本文鏈接地址:【Hadoop】解決Hadoop 2.7.1無法加載本地庫問題(http://www
2020-02-25 12:14:40
原创 【Java】使用jstack、jstat、jmap線上問題排查一例
現象前陣子線上發佈了一些功能，主要是針對客戶羣做的社羣網絡，大數據這邊針對用戶的通訊錄、通話記錄、設備等信息，計算其對應的社羣網絡，然後根據社羣對應的指標來判斷用戶的風險情況。當然新老用戶的邏輯有所區分，這裏就不再深入闡述了。功能上線後
2020-02-25 12:14:40
原创 【Spark】使用DataFrame讀取複雜JSON中的嵌套數組
所周知，在早期Spark版本中就已經支持讀取Json格式的數據文件，並能夠直接轉換爲數據庫表，以方便我們進行處理數據，在本篇文章中我們將介紹如何通過Spark API很簡單地讀取Json數據，並進一步講解，讀取複雜Json中的嵌套數組。
2020-02-25 12:14:40
原创 【Kafka】Leader丟失導致的Consumer掛起故障解決
現象最近發現線上的Kafka Consumer Client頻繁出現無法消費的情況，導致offset積壓。但是在重啓Kafka Broker之後又正常了。 而Cloudera Manager在重啓之前，我們發現三臺broker中並沒有K
2020-02-25 12:14:40
原创 【Kafka】Kafka的數據可靠性和一致性
在大數據領域的，Kafka作爲消息發佈訂閱系統，爲同學們所熟悉，它有非常好的擴展性。能夠在大數據環境下實現高吞吐量和高可用。那麼Kafka是如何保證數據的可靠性和一致性的呢？可靠性 可靠性方面，Kafka主要在Leader
2020-02-25 12:14:40
原创 【Bug】Spark sql jdbc fails for Oracle NUMBER type columns
report url：https://issues.apache.org/jira/browse/SPARK-10909 When using spark sql to connect to Oracle and run a spark
2018-09-03 05:47:14
原创 構建MAVEN項目
mvn archetype:generate創建Java項目 mvn archetype:generate -DgroupId=com.mycompany.app -DartifactId=myapp -DarchetypeArtifac
2018-09-03 05:47:14
原创 【Kafka】Kafka 1.0.1案例詳解之分佈式流式處理平臺
作爲一個分佈式消息發佈訂閱系統，Kafka在大數據領域被人們所熟知，在這裏對Kafka的一些基本概念做一個簡介，後續將對Kafka做一整個專題的介紹。希望對大家有所幫助。Kafka流平臺有如下三個特徵：Publish and subscr
2018-09-03 05:47:10
原创 【Kafka】Kafka 1.0.1案例詳解之快速入門
本博客文章如無特別說明，均爲原創！轉載請註明出處：Big data enthusiast(http://www.lubinsu.com/)本文鏈接地址:【Kafka 1.x】快速入門(http://www.lubinsu.com/inde
2018-09-03 05:47:08
原创 【MySql】ERROR 1045 (28000): Access denied for user 'ambari'@'localhost' (using password: YES)
授權 mysql> grant all privileges on *.* to ambari@'localhost' identified by 'bigdata'; Query OK, 0 rows affected (0.00 se
2018-09-03 05:47:08
原创 【Git】免密碼PULL配置方式
參考：https://git-scm.com/docs/git-credential-store/1.7.12.1 git-credential-store(1) Manual Page NAME git-creden
2018-09-03 05:47:07
4
原创 Spark Streaming+IntelliJ Idea+Maven開發環境搭建
Spark StreamingIntelliJ IdeaMaven開發環境搭建 Spark Streaming+IntelliJ Idea+Maven開發環境搭建 國內關於Spark流處理方面的資料實在是少之又少，開發環境搭建上
2018-09-03 05:47:06
原创 Spark培訓之計算員工薪資
方法一、Scala： val salaryRDD = sc.textFile("hdfs://192.168.1.171:9999/user/root/input/salaries/Salaries.csv").filter(!_.con
2018-09-03 05:47:04