原创 七.SpringBoot集成實例系列-多數據源mongodb+lombok(二)
文章列表 本系列將通過實例分別實現Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。 具體文章系列如下： 一.
2020-06-14 07:42:29
原创 Springboot+Mybatis+Maven+Oracle+Cassandra+事務(Aop)+定時任務實現
本文將通過示例介紹Springboot,mybatis,maven,oracle,cassandra,事務，定時任務等框架的集成，因此業務不會複雜，供學習使用。 一.基礎知識 1. Springboot Spring Boot是由Pivo
2020-06-14 07:42:29
原创 Spark學習—RDD編程
RDD:彈性分佈式數據集(ResilientDistributed Dataset),是Spark對數據的核心抽象。RDD其實是分佈式的元素集合。當Spark對數據操作和轉換時，會自動將RDD中的數據分發到集羣，並將操作並行化執行。
2020-06-14 07:42:29
原创 Spark學習—PairRDD編程
PairRDD:鍵值對RDD,其是Spark中轉化操作常用的數據類型。上一篇文件《》我們就使用了PairRDD。PairRDD是很多程序的構成要素，因爲他提供了並行操作或跨節點重新進行數據分組的操作接口。本文將結合Java示例講解Pa
2020-06-14 07:42:29
原创 三.SpringBoot集成實例系列-註解型單數據源mybatis
文章列表 本系列將通過實例分別實現Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。 具體文章系列如下： 一
2020-06-14 07:42:29
原创 springboot配置文件大全
# =================================================================== # COMMON SPRING BOOT PROPERTIES # # This sample f
2020-02-20 14:45:53
原创 linux中sqoop實現hive數據導入到mysql
上一篇文章我們簡單的介紹《 linux中sqoop實現hive數據導入到mysql》，本文將簡單介紹如何通過sqoop把hive數據導入到mysql。 一. 前期準備 實踐本文內容，默認您已經安裝和部署了hadoop,mysql,hive
2020-02-20 14:45:53
原创 spring-sparkstreaming-kafka10集成實現和疑難雜症解決
一.前期準備 1.開發環境 window7 eclipse jdk1.8 2.linux環境 zookeeper-3.4.8 hadoop-2.6.4 spark-1.6.0 scala-2.10.6 kafka_2.10-0.10.1.
2020-02-20 14:45:53
原创 linux中sqoop部署以及實現mysql數據導入hive
Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等
2020-02-20 14:45:53
原创 資深架構師教你一篇文看懂Hadoop
作者:陳 飈 “昔我十年前，與君始相識” 一瞬間Hadoop也到了要初中擇校的年齡了。十年前還沒有Hadoop，幾年前國內IT圈裏還不知道什麼是Hadoop，而現在幾乎所有大型企業的IT系統中有已經有了Hadoop的
2020-02-20 14:45:53
1
原创 ORACLE實現Job定時計劃任務
在ORACLE數據庫操作中，有時候我們需要定時的執行某些存儲過程。那oracle如何實現呢？ 從ORACLE 10.1版本開始，ORACLE開發了一個新的包DBMS_SCHEDULER。這個包就能幫解決我們的定時計劃任務的問題。 一. 新
2020-02-20 14:45:53
原创 linux中hive安裝和部署詳解
一.前期準備 1.1 hadoop 版本：Hadoop 2.6.5 安裝：http://blog.csdn.net/a123demi/article/details/70652959 1.2 mysql 版本：5.6.33 MySQL C
2020-02-20 14:45:53
1
原创 Spark Streaming+kafka訂單實時統計實現
前幾篇文章我們分別學習Spark RDD和PairRDD編程，本文小編將通過簡單實例來加深對RDD的理解。 一.前期準備 開發環境：window7+eclipse+jdk1.7 部署環境：linux+zookeeper+kafka+
2020-02-20 14:45:53
2
原创 大數據處理爲何選擇Spark，而不是Hadoop
一.基礎知識 1.Spark Spark是一個用來實現快速而通用的集羣計算的平臺。 在速度方面，Spark擴展了廣泛使用的MapReduce計算模型，而且高效地支持更多計算模式，包括交互式查詢和流處理。 Spark項目包含多個緊
2020-02-20 14:45:53
原创 Spark學習—統計文件單詞出現次數
上一節我們簡單介紹了RDD中轉化和執行操作的用法，本節將通過一個具體的示例來加深對RDD的認識。 一.需求 統計本地文件中單詞出現次數 二.操作流程 1.讀取外部文件創建JavaRDD; 2.通過flatMap轉化操作切分字符
2020-02-20 14:45:53