原创 第3章 實戰環境搭建

3-1課程目錄 實戰環境搭建 Spark 源碼編譯 Spark環境搭建 Spark 簡單使用 3-2 -Spark源碼編譯 1、下載到官網(源碼編譯版本)(http://spark.apache.org/downloads.html) w

原创 阿里雲性能測試總結

 一、性能測試 性能測試(Performance Testing)是卓越的SaaS性能測試平臺,具備強大的分佈式壓測能力,可模擬海量用戶的真實業務場景。目前分爲鉑金版、基礎版兩個完全不同的版本。其中鉑金版是2016年8月正式發佈的全新版本

原创 第7章 External Data Source

7-1 -課程目錄     7-2 -產生背景 用戶: 方便快速從不同的數據源(json,parquet,rebms),經過混合處理(Json,join,parquet),再將處理結果以特定的格式(json,parquet)再寫回到

原创 第2章 Spark及其生態圈概述

2-1課程目錄 1、Spark及生態圈概述 Spark產生背景 Spark 概述及特點 Spark發展歷史 Spark Survey Spark對比Hadoop Spark和Hadoop的協作性 Spark開發語言 Spark運行模式 2

原创 第5章 從Hive平滑過渡到Spark SQL

5-1 -課程目錄 5-2 -A SQLContext的使用 The entry point into all functionality in Spark SQL is the SQLContext class, or one of

原创 設計唯一的編號(自增長)

一、有關概念的介紹 1、遞歸算法,就是直接或間接調用自身的函數,也就是把一個大的複雜的問題層層轉換爲一個小的和原問題相似的問題來求解的這樣一種策略。 2、數據庫自增長: 二、案例 上面解釋可能有點太官方了, 我們直接拍案例  爲登錄進來的

原创 linux中tomcat開機自動啓動的命令

1. #vi etc/rc.d/rc.local 2、添加以下內容  export JAVA_HOME=/usr/java/jdk1.7.0_76 /usr/local/tomcat/apache-tomcat-7.0.54/bin/s

原创 第十六章、Spring Boot自定義 starter

課時六十九、SpringBoot@Conditional、@ConditionalOnClass自定義starter準備 前言 Spring 4框架的新特性:@Conditional註釋,此註釋使得只有在特定條件滿足時才啓用一些配置 課程

原创 第4章 Spark SQL概述

4-1 課程目錄 Spark SQL前世今生 SQL on Hadoop常用框架介紹 Spark SQL概述 Spark SQL願景 Spark SQL架構   4-2 -Spark SQL前世今生 爲什麼使用SQL 1)事實上的標準 2

原创 第十七章、Spring Boot WebSocket

課時七十二、 Spring Boot WebSocket:概念篇 課程安排 websocket的概念 websocket的原理 websocket的羣聊 websocket單聊 長連接的產生 一、Socket簡介 Socket又稱"套接字

原创 第1章 初探大數據

1、1導學 功能實現 統計imooc(慕課網)主站最受歡迎的課程/手記的Top N訪問次數 按地市統計imooc主站最受歡迎的Top N課程 按流量統計imocc主站最受歡迎的Top N課程 大數據的到來     任職要求 .熟悉Lin

原创 第十九章、Spring Boot2.0 Quartz1

 課時八十、Spring Boot2.0 新特性 在 2018年3 月 1 號,Spring Boot 2.0.0.RELEASE正式發佈,這是 Spring Boot 1.0 發佈 4 年之後第一次重大修訂,這裏介紹一下新的特性 一、J

原创 第十八章、Spring Boot Lombok

 Spring Boot lombok:概述+安裝 我們在開發過程中,通常都會定義大量的JavaBean,然後通過IDE去生成其屬性的構造器、getter、setter、equals、hashcode、toString方法,當要對某個屬性