原创 Spark圖解(複習):Hadoop與Spark發展史,WordCount,Yarn部署源碼,組件通信&RPC任務調度,RDD及算子,Driver&Executor,Core與Streaming圖解
本文用於複習Spark用,初學者看不懂 主要內容 spark 歷史 spark WordCount spark Yarn部署流程 spark Yarn部署流程源碼 spark 源碼中特殊的類 spark 組件通信&RPC spar
2020-06-15 22:18:35
原创 java算法基礎：快速排序、非遞歸快排、二分查找算法、二叉樹、遍歷樹形結構算法、排序算法、歸併排序、堆排序、冒泡排序、生產消費者模式
1 快速排序算法Java實現 1.1 算法概念。 快速排序（Quicksort）是對冒泡排序的一種改進。由C. A. R. Hoare在1962年提出。 1.2 算法思想。 通過一趟排序將要排序的數據分割成獨立的兩部分，其中一部分
2020-06-15 22:18:35
原创 Scala數據結構和算法：鏈表(Linked List)、單鏈表與雙鏈表、鏈表介紹、單向鏈表、雙向鏈表、環形鏈表、環形鏈表解決Josephu問題
鏈表介紹 鏈表是有序的列表，但是它在內存中是存儲如下： 鏈表在內存中不一定是連續分佈. [鏈表是學習 樹，森林，圖的基礎] // 鏈表的優點 1. 插入，刪除，很快, 缺點是檢索速度慢. => 樹結構(AVL, 紅黑樹) 單鏈表的介紹
2020-06-15 22:18:35
原创 Java算法：牛客網Java版劍指Offer全套算法面試題目整理及電子檔，Java算法與數據結構面試題，面試刷題、背題必備！牛客網劍指offer
劍指offer（java版） 牛客網Java版劍指Offer全套題目67道 資源來源於網絡 目錄 1.二維數組中的查找 2.替換空格 3.從尾到頭打印鏈表 4.重建二叉樹 5.用兩個棧實現隊列 6.旋轉數組的最小數字 7.斐波那契數列 8
2020-06-15 22:18:35
1
原创 Scala數據結構和算法：隊列、隊列使用場景、數組模擬隊列、數組模擬環形隊列、隊列圖解
隊列的一個使用場景 銀行排隊的案例: 隊列介紹 隊列是一個有序列表，可以用數組或是鏈表來實現。 遵循先入先出的原則。即：先存入隊列的數據，要先取出。後存入的要後取出 示意圖：(使用數組模擬隊列示意圖) 數組模擬隊列 隊列本身是
2020-06-15 22:18:35
原创 Scala數據結構和算法:數據結構(算法)介紹,稀疏數組,一個五子棋程序保存代碼
數據結構(算法)的介紹 數據結構的介紹 數據結構是一門研究算法的學科，只從有了編程語言也就有了數據結構.學好數據結構可以編寫出更加漂亮,更加有效率的代碼。 要學習好數據結構就要多多考慮如何將生活中遇到的問題,用程序去實現解決. 程
2020-06-15 22:18:35
原创 SparkSQL:SparkSQL簡介,SparkSQL編程,DataFrame和DataSet與RDD之間轉換,用戶自定義函數,SparkSQL數據源,連接JDBC與Hive,SparkSQL項目
文章目錄: 第1章 Spark SQL概述 1.1 什麼是Spark SQL 1.2 Spark SQL的特點 1.3 什麼是DataFrame 1.4 什麼是DataSet 第2章 SparkSQL編程 2.1 SparkSession
2020-06-15 22:18:35
原创 python爬蟲基礎實戰:爬取珍愛網徵婚女士信息,爬取Discuz論壇發帖和回帖代碼案例
環境準備 搭建Python環境 略 安裝requests: 進入Python安裝目錄下的Scripts目錄(確保pip.exe文件存在,正常情況下存在) 進入cmd終端並進入該目錄,輸入命令"pip install requests"
2020-06-15 22:18:35
原创 機器學習第一期（下）：機器學習算法、線性迴歸模型、邏輯迴歸模型、決策樹模型、最小二乘法、梯度下降、Sigmoid函數、損失函數、隨機變量、熵、信息增益
接上篇文章：機器學習第一期（上）：數學矩陣前置知識、機器學習前置知識、機器學習基礎、機器學習類型，分類迴歸、機器學習過程、損失函數、過擬合與欠擬合、正則化項、訓練誤差與測試誤差、模型選擇、交叉驗證、梯度下降算法 主要內容 線性迴
2020-06-15 22:18:35
原创 機器學習第一期（上）：數學矩陣前置知識、機器學習前置知識、機器學習基礎、機器學習類型，分類迴歸、機器學習過程、損失函數、過擬合與欠擬合、正則化項、訓練誤差與測試誤差、模型選擇、交叉驗證、梯度下降算法
由於下個月開始投簡歷，本期只大致講解大數據相關機器學習，下一期（工作後）再重點講解。 主要內容 高等數學矩陣前置知識 機器學習概述 特徵工程 模型選擇 梯度下降算法 數學前置知識 矩陣 大學學過就不作詳細說明 圖解矩陣
2020-06-15 22:18:35
原创 java算法：排序算法基礎，二分查找，冒泡排序，插入排序，快速排序及優化，希爾排序，歸併排序，堆排序，桶排序，基數排序，二叉樹算法，手寫紅黑樹算法
一貼看完java常用的查找、排序算法，後續將更新二叉樹算法、遞歸、談心、回溯等算法。 今天被面試官刁難了一番（問的不是排序查找），想借此複習一下算法基礎。 主要內容： 二分查找 冒泡排序算法 插入排序算法 快速排序（含優化）算法 希爾排
2020-06-15 22:18:25
原创 電商推薦系統（中）：實時推薦服務、實時框架、實時推薦算法、獲取用戶的K次最近評分、商品推薦優先級、實時系統聯調、更新實時推薦結果
接上篇文章第4章的4.3.3：電商推薦系統（上）：推薦系統架構、數據模型、離線統計與機器學習推薦、歷史熱門商品、最近熱門商品、商品平均得分統計推薦、基於隱語義模型的協同過濾推薦、用戶商品推薦列表、商品相似度矩陣、模型評估和參數選取 第5章
2020-06-15 22:18:25
原创 Java算法：LeetCode算法Java版，百度公司算法筆試面試題LeetCode整理，百度校招算法刷題，百度算法Java版，Java版快速排序及優化後的快排，歸併排序、堆排序，百度算法20道題
最近要參加百度公司2020春招的校招面試，特整理了下百度公司的算法題筆試面試題，以此紀念百度對我的認可。資源來源於LeetCode，純手打，喜歡請支持正版。 再次感謝百度！ 目錄 兩數之和... 1 兩數相加... 1 無重複字符的
2020-06-15 22:18:25
原创 Java數據結構（1.1）：數據結構入門+線性表、算法時間複雜度與空間複雜度、線性表、順序表、單雙鏈表實現、Java線性表、棧、隊列、Java棧與隊列。
數據結構與算法入門 問題1：爲什麼要學習數據結構 如果說學習語文的最終目的是寫小說的話，那麼能不能在識字、組詞、造句後就直接寫小說了，肯定是不行的， 中間還有一個必經的階段：就是寫作文。寫作文的直接目的有兩個： 1.
2020-06-15 22:18:25
原创 Dubbo：分佈式基礎理論，Dubbo入門，Dubbo環境搭建配置與監控中心，Dubbo整合SpringBoot，Dubbo與Zookeeper高可用，RPC原理，Netty通信原理，Dubbo原理
一、基礎知識 1、分佈式基礎理論 1.1）、什麼是分佈式系統？ 《分佈式系統原理與範型》定義： “分佈式系統是若干獨立計算機的集合，這些計算機對於用戶來說就像單個相關係統” 分佈式系統（distributed system）是建立在網
2020-06-15 22:18:25