原创 阿龍學堂-Java手機號碼歸屬地查詢
1、需求 用戶註冊了了app就可以收到很多的手機號，從而可以根據手機號碼可以該位用戶是屬於哪個區域，從而可以分析出哪個區域的用戶量最大，可以進行組織活動，來推廣自己的產品。 2、創建項目 創建一個普通的maven項目即可。 項目依賴 <
2020-06-17 05:41:51
原创 sparkmllib算法之特徵轉換-第一篇（StopWordsRemover）
0、停止詞介紹 停止詞是應該從輸入中排除的詞，通常是因爲詞經常出現而且沒有那麼多含義。 StopWordsRemover 將字符串序列（例如，Tokenizer 的輸出）作爲輸入，並從輸入序列中刪除所有停用詞。停用詞列表由 stopWor
2020-06-17 04:41:36
原创 sparkmllib算法之操作-第二篇
0、sparkmllib基礎統計 相關性 假設檢驗 總結器 1、相關性 計算兩個系列數據之間的相關性是“統計”中的常見操作。在spark.ml 我們提供了很多系列中的靈活性，計算兩兩相關性。目前支持的相關方法是Pearson和Spearm
2020-06-17 04:41:36
1
原创 sparkmllib算法之操作-第三篇（TF-IDF）
1、定義 在信息檢索中，tf-idf（詞頻-逆文檔頻率）是一種統計方法，用以評估一個單詞在一個文檔集合或語料庫中的重要程度。經常被用作信息檢索、文本挖掘以及用戶模型的權重因素。tf-idf的值會隨着單詞在文檔中出現的次數的增加而增大，也會
2020-06-17 03:45:46
原创 阿龍學堂-中綴-後綴表達式的計算
1、簡介 在數據結構中，有一種數據結構叫做：Stack，LIFO（Last In First Out）,在這個結構中，有個後綴表達式計算，運用該數據結構進行計算。 棧是一種只允許一端操作的線性數據結構，具有LIFO(last in fir
2020-06-17 03:45:46
2
原创 spark啓動過程及通信-消息的形式
1、介紹 總體概括應該這樣：首先啓動Driver 程序，創建SparkContext程序，然後和ClusterManager通信，ClusterManager根據程序的邏輯，在相應的Worker上啓動Executor，最後 Driver
2020-06-17 03:45:46
原创 阿龍學堂-SparkGraphx基本操作篇-第一篇
0、需求實現 我們要構建一個由 GraphX 項目上的各種協作者組成的屬性圖。vertex 屬性可能包含用戶名和職業。我們可以使用描述協作者之間關係的字符串來註釋邊： 1、加載已有測試數據 1.1、加載依賴 <?xml version
2020-06-17 03:45:46
原创 sparkmllib算法之操作-第三篇（Word2Vec）
1、定義 如果用一句比較簡單的話來總結，word2vec是用一個一層的神經網絡(即CBOW)把one-hot形式的稀疏詞向量映射稱爲一個n維(n一般爲幾百)的稠密向量的過程。爲了加快模型訓練速度，其中的tricks包括Hierarchic
2020-06-17 03:45:46
原创 阿龍學堂-啓動spark任務的兩種方式
1、簡介 spark在現在的數據分析，包括離線分析，微批次處理過程中有很多的運用，但是在啓動任務的過程中，大部分是將spark作爲一個單獨的項目進行處理，但是有時候，在一些和web等項目整合的時候，就不需要單獨的進行處理，因此就有了一下兩
2020-06-17 03:45:46
原创 sparkmllib算法之操作-第一篇
0、簡介 sparkMLlib是spark中的一個算法包，主要是進行一些機器學習相關的操作及計算，主要包括以下幾個方面： 序號 特徵 特徵描述 1 ML算法 常見的學習算法，例如分類，迴歸，聚類和協作過濾 2 特徵化 特徵提取，變換，
2020-06-17 03:45:46
原创 阿龍學堂-SparkGraphx基本操作篇-第二篇
0、需求 加載外部文件進行圖計算，數據存在於該外部文件當中。 1、加載依賴包 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/
2020-06-17 03:45:46
原创 阿龍學堂-面試題-異性同房間同住記錄
1、需求 使用SQL語言，基於hotel_log酒店日誌表，寫出live_together的加工邏輯，live_together表爲異性同房間同住記錄。 身份證第17位數字表示性別：奇數表示男性，偶數表示女性。 源表名： hotel_lo
2020-06-17 03:45:46
原创 大數據要學什麼？該怎麼學？
一、阿龍學堂-大數據要學什麼？該怎麼學？ 根據當前國內的計算機行業的發展，大數據的發展已經是當前比較流行的趨勢，那麼大數據到底要學習那些東西了，簡單的列舉一下： 1、數學（初高中，大學數學，甚至一些物理知識）：爲什麼我在當前要提到這個
2020-06-17 03:45:46
原创 阿龍學堂- GitLab部署及配置
GitLab部署及配置 一、GitLab 安裝和配置 安裝社區版，GitLab-CE 版本：11.10.6 1、GitLab安裝 GitLab安裝環境 ：CentOS7.6系統 安裝依賴包，並配置postfix服務爲GitLab郵件服務
2020-06-17 03:45:46
原创 阿龍學堂-VUE面試總結
前言：一句話就能回答的VUE面試題 vue中$emit事件無法觸發？ emit裏的事件名不要用大寫字母； 渲染的時候key給什麼值，可以使用index嗎，用id好還是index好？ 當我們在使用v-for進行渲染時，儘可能使用渲染元素自身
2020-05-08 15:42:59