原创 第三篇: 服務消費者(Feign)

轉載請標明出處: http://blog.csdn.net/forezp/article/details/69808079 本文出自方誌朋的博客 上一篇文章,講述瞭如何通過RestTemplate+Ribbon去消費

原创 現有Android項目引入ReactNative

作者:相濡以沫灬鏈接:http://blog.csdn.net/github_33304260/article/details/76571961本文由作者投稿發佈。爲什麼寫這篇文章,因爲很多時候我們是需要在原Android工

原创 Flume中hdfs sink配置參數詳解

type hdfs path 寫入hdfs的路徑,需要包含文件系統標識,比如:hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表達式。 filePrefix

原创 Apache Kylin在美團數十億數據OLAP場景下的實踐

本文根據2016年4月北京Apache Kylin Meetup上的分享講稿整理,略有刪節。 美團各業務線存在大量的OLAP分析場景,需要基於Hadoop數十億級別的數據進行分析,直接響應分析師和城市BD等數千人的交互式訪問請求,對O

原创 jvm常用參數

JVM 常用參數 整體考慮堆大小 -Xms3550m, 初始化堆大小。通常情況和-Xmx大小設置一樣,避免虛擬機頻繁自動計算後調整堆大小。 -Xmx3550m,最大堆大小。 分代設置堆大小 新生代 -xmn2g,

原创 四、Spark性能優化:shuffle調優

shuffle調優 調優概述       大多數Spark作業的性能主要就是消耗在了shuffle環節,因爲該環節包含了大量的磁盤IO、序列化、網絡數據傳輸等操作。因此,如果要讓作業的性能更上一層樓,就有必要對shuffl

原创 第一篇: 服務的註冊與發現(Eureka)

轉載請標明出處: http://blog.csdn.net/forezp/article/details/69696915 本文出自方誌朋的博客 一、spring cloud簡介 spring cloud 爲開發人

原创 開源堡壘機對比

teleport 堡壘機jumpserver通過添加統一系統賬戶來操作,支持密碼和密鑰登陸,堡壘機密鑰遠程主機的root權限。多個人員使用一個賬戶來管理感覺不是很好。通過推送用戶+sudo授權的方式,使用密鑰+密碼登陸授權主機日誌

原创 一、Spark性能優化:開發調優篇

1、前言       在大數據計算領域,Spark已經成爲了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種不同類型的計算操作,應用範圍

原创 Spark中Task,Partition,RDD、節點數、Executor數、core數目的關係

作者:王燚光 鏈接:http://www.zhihu.com/question/33270495/answer/93424104 來源:知乎 梳理一下Spark中關於併發度涉及的幾個概念File,Block,Split,Ta

原创 phoenix映射HBase數據表

1. 說明 安裝好phoenix後對於Hbase中已經存在的數據表不會自動進行映射,所以想要再phoenix中操作hbase已有數據表就需要手動進行配置。 2. 創建HBase表 > create 'phoenix','info'

原创 Spring Boot-配置devtools實現熱部署

寫在前面   Spring爲開發者提供了一個名爲spring-boot-devtools的模塊來使Spring Boot應用支持熱部署,提高開發者的開發效率,無需手動重啓Spring Boot應用。 devtools的原理   

原创 Kafka介紹及升級經驗分享

http://blog.talkingdata.net/?p=3165背景當時的現狀:開始使用Kafka的時候,使用的版本是0.7.2,當時的目的是爲了替代kestrel,主要是使用Kafka來做消息傳輸中間件。Kafka解決了

原创 行爲日誌格式

post請求body樣例: { "appInfo": { "devicePlatform": "android", "productVersion": "qbk", "mar

原创 SparkStreaming操作Kafka

Kafka爲一個分佈式的消息隊列,spark流操作kafka有兩種方式: 一種是利用接收器(receiver)和kafaka的高層API實現。 一種是不利用接收器,直接用kafka底層的API來實現(spark1.3以後引入)。