原创 Spring註解@Async和@Transactional失效問題究竟是什麼原因，強勢解釋一波
原文作者：彌諾R 原文地址：http://www.minuor.com/1524750647/article 轉載聲明：轉載請註明原文地址，注意版權維護，謝謝！ 提前說說 項目中涉及到的代碼我都會上傳到碼雲(gitee)或者github
2019-02-22 13:43:57
原创 項目上線，舊數據需要修改,寫SQL太麻煩,看Excel配合簡單SQL的強大功能
原文作者：彌諾R 原文地址：http://www.minuor.com/1523882302/article 轉載聲明：轉載請註明原文地址，注意版權維護，謝謝！ 實際場景 A項目前期上線後有兩張表，第一張表裏面有訂單的基本信息(重點：沒
2019-02-22 13:43:57
原创 Intellij IDEA基於Springboot的遠程調試
簡介本篇博客介紹一下在Intellij IDEA下對Springboot類型的項目的遠程調試功能。所謂的遠程調試就是服務端程序運行在一臺遠程服務器上，我們可以在本地服務端的代碼（前提是本地的代碼必須和遠程服務器運行的代碼一致）中設置斷點，每
2019-01-19 13:50:02
原创 Spark常用的action算子
action算子簡介 Action類算子也是一類算子（函數）叫做行動算子，如foreach,collect，count等。Transformations類算子是延遲執行，Action類算子是觸發執行。一個application應用程序（就是
2018-12-30 12:56:52
原创 常用的action算子
action算子簡介 Action類算子也是一類算子（函數）叫做行動算子，如foreach,collect，count等。Transformations類算子是延遲執行，Action類算子是觸發執行。一個application應用程序（就是
2018-12-30 12:56:52
原创 Spark的transformation和action算子簡介
transformation算子 map(func) 返回一個新的分佈式數據集，由每個原元素經過func函數處理後的新元素組成 filter(func) 返回一個新的數據集，由經過func函數處理後返回值爲true的原元素組成 flat
2018-12-30 12:56:52
原创 Spark常用的transformation算子
1.map 和 mapPartitions map的輸入變換函數應用於RDD中所有元素，而mapPartitions應用於所有分區。區別於mapPartitions主要在於調用粒度不同。mapPartition可以倒過來理解，先partit
2018-12-22 12:55:57
1
原创 Quartz集羣實戰與原理分析
一、簡介Quartz是一個優秀的調度框架，完全基於Java實現。具有以下幾大特點：（1）強大的調度功能，例如支持豐富多樣的調度方法，可以滿足各種常規及特殊需求；（2）靈活的應用方式，例如支持任務和調度的多種組合方式，支持調度數據的多種存儲方
2018-11-10 02:06:01
3
原创 大數據分佈式平臺Hadoop2.7.7 + Spark2.2.2搭建
Apache Spark 是專爲大規模數據處理而設計的快速通用的計算引擎。Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用並行框架，Spark，擁有Ha
2018-11-06 02:47:54
原创 SparkStreaming獲取kafka數據的兩種方式：Receiver與Direct的方式
目錄ReceiverDirectDirect代碼 簡單理解爲：Receiver方式是通過zookeeper來連接kafka隊列，Direct方式是直接連接到kafka的節點上獲取數據Receiver使用Kafka的高層次Consumer A
2018-11-01 02:03:58
3
原创 SparkStreaming 中管理 Kafka Offsets 的幾種方式
Spark Streaming集成了Kafka允許用戶從Kafka中讀取一個或者多個topic的數據。一個Kafka topic包含多個存儲消息的分區(partition)。每個分區中的消息是順序存儲，並且用offset(可以認爲是位置)來
2018-11-01 02:03:58
4
原创 SparkStreaming消費kafka數據
概要：本例子爲SparkStreaming消費kafka消息的例子，實現的功能是將數據實時的進行抽取、過濾、轉換，然後存儲到HDFS中。 實例代碼 package com.fwmagic.test import com.alibaba.f
2018-11-01 02:03:58
原创 Flume自定義Source
模擬編寫了一個Flume 1.7中TAILDIR的功能實現，通過手動控制文件的讀取位置來達到對文件的讀寫，防止flume掛了之後重複消費的情況。以下是代碼實現，僅做參考，生產上直接用TAILDIR讀取文件內容即可，若要讀取一個目錄下的子目錄
2018-10-24 02:03:43
2
原创 Nginx整合Kafka
背景 nginx-kafka-module是nginx的一個插件，可以將kafka整合到nginx中，便於web項目中前端頁面埋點數據的收集，如前端頁面設置了埋點，即可將用戶的一些訪問和請求數據通過http請求直接發送到消息中間件kafka
2018-10-24 02:03:43
原创 MapReduce編寫wordcount程序代碼實現
MapReduce經典案例代碼（wordcount） 以經典的wordcount爲例，通過自定義的mapper和reducer來實現單詞計數 package com.fwmagic.mapreduce; import org.apache
2018-09-11 02:09:07