原创 Spring Cloud Ribbon 客戶端負載均衡器

兩種方式實現默認負載均衡 第一種:使用RestTemplate @SpringCloudApplication public class EurekaconsumerApplication { /** * LoadBa

原创 Scala 類中屬性和屬性生成的方法的區別

衆所周知,Scala 是運行於Java平臺(Java虛擬機)的,那麼Scala程序編譯之後會生成對應的字節碼文件,我們將字節碼文件反編譯成Java文件即可知Scala 爲我們都做了什麼. 首先我們有一個Scala 源文件 //Scala

原创 Scala 隱式轉換 隱式參數

隱式轉換 所謂隱式轉換函數(implicit conversion function)指的是那種以implicit 關鍵字聲明的帶有單個參數的函數 首先,看這個例子 implicit def file2RichFile(from: F

原创 Zookeeper 基礎

Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed

原创 [排序]簡單選擇排序

private static void selectSort(int[] list) { int i, j, min; for (i = 0; i < list.length; i++) {

原创 Spark 安裝配置啓動,蒙特·卡羅算法求PI

Apache Spark是一個開源集羣運算框架,最初是由加州大學柏克萊分校AMPLab所開發。相對於Hadoop的MapReduce會在運行完工作後將中介數據存放到磁盤中,Spark使用了內存內運算技術,能在數據尚未寫入硬盤時即在內存內

原创 Spark RDD緩存方式

RDD通過persist方法或cache方法可以將前面的計算結果緩存,但是並不是這兩個方法被調用時立即緩存,而是觸發後面的action時,該RDD將會被緩存在計算節點的內存中,並供後面重用。 System.setProp

原创 Spark 廣播規則

原文: https://www.kancloud.cn/kancloud/spark-internals/45238 顧名思義,broadcast 就是將數據從一個節點發送到其他各個節點上去。這樣的場景很多,比如 driver 上有一