原创 機器學習簡介(Introduction of Machine Learning)
1.What is Machine Learning Machine Learning ≈ Looking for a Function From Data 機器學習三步驟 2.Learning Map Regression
2020-06-25 09:34:07
原创 Spark內存模型
Spark內存模型 Spark 作爲一個基於內存的分佈式計算引擎，其內存管理模塊在整個系統中扮演着非常重要的角色。理解 Spark 內存管理的基本原理，有助於更好地開發 Spark 應用程序和進行性能調優 在執行 Spark 的應
2020-06-25 09:34:06
原创 計算廣告基礎概念
基礎名次 ctr: 廣告點擊率 cvr: 廣告轉化率 bid: 出價 cpm: cost per mile, 千次成本(展示) cpc: cost per click, 點擊成本 cpa: cost per action, 轉化成
2020-06-25 09:34:06
原创 Spark SQL函數小結
1.開窗函數 1. row_number() over() 示例: row_number() OVER (PARTITION BY category ORDER BY revenue DESC) rank 作用: 給每個分組的數
2020-06-25 09:34:06
2
原创 Zookeeper簡介
Zookeeper簡介 Zookeeper是一個開源的分佈式協調服務，它是集羣的管理者，監視着集羣中各個節點的狀態。根據節點提交的反饋進行下一步合理操作。最終，將簡單易用的接口和性能高效，功能穩定的系統提供給用戶。 分佈式應用程序
2020-03-02 23:55:01
原创 ElasticSearch簡介
ElasticSearch簡介 Elasticsearch 是一個分佈式可擴展的實時搜索和分析引擎,一個建立在全文搜索引擎 Apache Lucene™ 基礎上的搜索引擎.當然 Elasticsearch 並不僅僅是 Lucene
2020-03-02 23:55:01
原创 Hadoop簡介
Hadoop簡介 1.概念 Hadoop是一套大數據解決方案. 它提供了一套分佈式系統基礎架構. 核心內容包含HDFS和MapReduce, 在Hadoop2.0以後引入YARN 簡單來講, HDFS是供數據存儲的, MapRed
2020-03-02 23:55:01
原创 Spark知識點總結
Spark知識點總結 1.Spark基本架構 Cluster Manager : Spark的集羣管理器, 主要負責對整個集羣資源的分配與管理. Cluster Manager分配的資源屬於一級資源, 它將各個Worker上的
2020-03-01 02:58:02
原创 機器學習筆記-迴歸(Regression)
Regression：Output a scalar。 Regression可以用於預測股票市場、無人駕駛、推薦系統，這裏的例子是可以預測寶可夢的CP值 Step 1：Model 所謂的Model就是a set of functi
2020-02-25 21:38:15
3
原创 java.lang.Thread
java.lang.Thread 位於java.lang包下的Thread是非常重要的線程類，它實現了Runnable接口。本篇文章圍繞Thread具體介紹一下Java線程的概念和Thread類中常用的方法 1.線程的狀態 線程從
2019-10-26 12:03:03
原创 Java併發—Executor框架
Executor框架 在Java中, 使用線程來異步執行任務. Java線程的創建與銷燬需要一定的開銷, 如果我們爲每一個任務創建一個新線程來執行, 這些線程的創建與銷燬將消耗大量的計算資源. 同時, 爲每一個任務創建一個新線程來
2019-09-08 09:45:38
原创 Java併發—線程池
線程池 Java中線程池是運用場景最多的併發框架,幾乎所有需要異步或併發執行任務的程序都可以使用線程池.在開發過程中, 合理使用線程池能夠帶來三個好處 : 1.降低資源消耗. 通過重複利用已創建的線程降低線程創建和銷燬造成的消耗
2019-09-05 10:04:47
原创 Redis數據結構(六) —壓縮列表
壓縮列表 壓縮列表是列表鍵和哈希鍵的底層實現之一, 當一個列表鍵只包含少量列表項, 並且每個列表項要麼就是小整數值, 要麼就是長度比較短的字符串, 那麼Redis就會使用壓縮列表來做列表鍵的底層實現. 另外, 當一個哈希鍵只包含少
2019-09-05 10:04:47
原创 Java併發—ConcurrentHashMap
Java併發容器—ConcurrentHashMap 1.JDK1.7版本 jdk1.7的實現結構圖如下所示 [外鏈圖片轉存失敗(img-Fy93gKVd-1566009849146)(/home/shidongxuan/.c
2019-08-23 10:00:41
原创 Java併發—鎖
Java中的鎖 1.Lock接口 鎖是用來控制多個線程訪問共享資源的方式, 一般來說, 一個鎖能夠防止多個線程同時訪問共享資源(但是有些鎖可以允許多個線程併發的訪問共享資源, 比如讀寫鎖). 在Lock接口出現之前, Java程序
2019-08-15 09:20:03