原创 spark core源碼分析4 worker啓動流程
博客地址: http://blog.csdn.net/yueqian_zhu/ 源碼位置：org.apache.spark.deploy.worker.Worker.scala 首先查看worker的main方法，與master類似，創
2020-02-22 07:08:12
原创 spark core源碼分析10 Task的運行
博客地址: http://blog.csdn.net/yueqian_zhu/ 這一節介紹具體task的運行以及最終結果的處理 看線程運行的run方法，見代碼註釋 override def run(): Unit = { va
2020-02-22 07:08:12
原创 spark core源碼分析8 從簡單例子看transformation
博客地址: http://blog.csdn.net/yueqian_zhu/ 前面提到過spark自帶的一個最簡單的例子，也介紹了SparkContext的部分，這節介紹剩餘的內容中的transformation。 object S
2020-02-22 07:08:12
原创 Redis cluster基礎介紹
Redis 3.0.x支持集羣方案的正式版終於發佈了！！！！ 1、TCP端口 每個節點需要使用兩個TCP端口. 一個普通端口給客戶端使用, 比如6379, 另外個則在這個數字上加1000, 本例中也就是16379. 後者這個高位端口是作爲
2020-02-22 07:08:12
原创 Spark Streaming基礎概念介紹
博客地址: http://blog.csdn.net/yueqian_zhu/ 有很多文章講解storm與spark streaming的區別，都非常詳細。 本文就介紹一下spark streaming比較重要的概念 一、術語介紹： 離
2020-02-22 07:08:12
原创 kafka入門：簡介、使用場景、設計原理、主要配置及集羣搭建（轉）
一、入門 1、簡介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了類似於JMS的特性，但是在設計實現上完全不同，此外它並不是J
2018-09-04 22:08:30
2
原创 SparkSQL 相關API
博客地址: http://blog.csdn.net/yueqian_zhu/ 一、SQLContext.scala中的接口說明 大部分接口都是創建DataFrame 1、構造：SQLContext的構造只需要一個SparkContex
2018-09-04 22:08:29
原创 jvm 常用配置
一、java內存區域 1、程序計數器 一塊很小的內存空間，作用是當前線程所執行的字節碼的行號指示器。 2、 java棧 與程序計數器一樣，java棧（虛擬機棧）也是線程私有的，其生命週期與線程相同。通常存放基本數據類型，對象引用
2018-09-04 22:08:29
原创 Jenkins 持續集成
Jenkins 一、簡介 這裏介紹持續集成工具Jenkins，Jenkins 是一個可擴展的持續集成引擎，用於持續、自動地構建/測試/發佈軟件項目。Jenkins的主要目標是監控軟件開發流程，提高開發人員的工作效率。Jenkins通
2018-09-04 22:08:29
原创 Future與Promise in Scala
博客地址: http://blog.csdn.net/yueqian_zhu/ 所謂Future，是一種用於指代某個尚未就緒的值的對象。而這個值，往往是某個計算過程的結果。 一、創建 創建future對象最簡單的方法是調用future方
2018-09-04 22:08:29
原创 Spring中的Ioc
1、屬性注入 需要提供一個默認的構造函數及需要注入的屬性的Setter方法。 <bean id="car" class="com.xxx.Car"> <property name="brand" value="寶馬"/>
2018-09-04 22:08:29
1
原创 spark streaming源碼分析4 DStream相關API
博客地址: http://blog.csdn.net/yueqian_zhu/ 一、InputDStream創建的操作（StreamingContext.scala） 1、給定Receiver作爲參數，創建ReceiverInputD
2018-09-04 22:08:29
6
原创 Spring中的AOP
1、前置增強 繼承與MethodBeforeAdvice，並實現before方法，用於在目標類方法前執行。 在配置文件中： <bean id="a" class="繼承於MethodBeforeAdvice接口的類"/>
2018-09-04 22:08:29
原创 akka概念 學習筆記
博客地址: http://blog.csdn.net/yueqian_zhu/ 一、配置 1、Akka的所有配置信息裝在 ActorSystem的實例中。在構造一個actor系統時，你可以傳進來一個 Config object，如果不
2018-09-04 22:08:29
原创 Spring 入門配置實例
從登陸模塊介紹spring最簡單的配置 1、web.xml中配置主控servlet和servlet-mapping,如下： <servlet> <servlet-name>mvc-dispatcher</servlet-name>
2018-09-04 22:08:29
2