原创 用戶畫像-ID_MAPPING 利用並查集——求無向圖的所有連通子圖來實現所有用戶合併
一 項目背景 本項目是基於https://blog.csdn.net/weixin_41734687/article/details/99174064 此項目的改進。 去年利用jacaard相似度對多用戶進行了合併。由於受到計算資
2020-07-08 01:20:47
1
原创 hive 存儲格式對比
hive 存儲格式對比 Apache Hive支持Apache Hadoop中使用的幾種熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。 Cloudera Impa
2020-07-08 01:20:46
1
原创 Cookie 和 Session深入理解
我在做面試官的時候，曾經問過很多朋友這個問題： Cookie 和 Session 有什麼區別呢？大部分的面試者應該都可以說上一兩句，比如：什麼是 Cookie？什麼是 Session？兩者的區別等。 但如果再往深入探討的話，就慢慢
2020-07-08 01:20:46
1
原创 hive 數據傾斜原因及解決
轉載 添加鏈接描述 🚗 Index 什麼是數據傾斜 數據傾斜的原因 Hadoop計算框架的特點 優化的常用手段 優化案例 🔍 什麼是數據傾斜 我們在用hive取數的時候，有的時候只是跑一個簡單的join語句，但是卻跑了很長的時間，
2020-07-08 01:20:46
4
原创 大數據 java01 hive udf函數（手機號碼脫敏）
Hive UDFHive UDF 函數1 POM 文件2.UDF 函數3 利用idea打包4 添加hive udf函數4.1 上傳jar包到集羣4.2 修改集羣hdfs文件權限4.3 註冊UDF4.4 使用UDF Hive UDF
2020-07-08 01:20:46
3
原创 python3.5 連接hive（hive有密碼並且集羣Kerberos認證） 基本使用 pyhive
可以通過pyhive連接hive 還可以通過impyla 詳見 impyla連接hive 1.安裝相關依賴 目前python3連接hive的方法主要是使用pyhive包，但是要安裝pyhive也不是那麼容易的事情，因爲pyhive
2020-05-31 09:45:21
19
原创 機器學習 part3
機器學習 part3 機器學習與運用 第三天 機器學習與運用 迴歸算法 線性迴歸 分類算法 邏輯迴歸 聚類算法 kmeans 一 迴歸算法 線性迴歸 1.1 迴歸舉例 什麼是迴歸 期末考試成績判定 期末成績：0.7×考試成績
2020-05-11 01:12:01
原创 scikit-learn樸素貝葉斯GaussianNB實例
scikit-learn樸素貝葉斯GaussianNB實例 1、什麼是樸素貝葉斯 在所有的機器學習分類算法中，樸素貝葉斯和其他絕大多數的分類算法都不同。對於大多數的分類算法，比如決策樹,KNN,邏輯迴歸，支持向量機等，他們都是判別
2020-04-25 15:01:47
原创 機器學習與應用 part 2
機器學習與應用 第二天 機器學習與應用 1.sklearn數據集與估計器 2.分類算法k近鄰算法 一 sklearn 數據集與估計器 1.1 sklearn 數據集 數據集劃分 sklearn數據集接口介紹 sklearn分
2020-04-14 05:25:03
原创 多用戶合併 利用 並查集——求無向圖的所有連通子圖
並查集——求無向圖的所有連通子圖 求解無向圖的連通子圖，有兩種方法，一種是DFS或BFS，也就是對圖遍歷，另一種方法就是使用並查集。對圖的遍歷非常常見，而並查集的概念就不如遍歷那麼熟悉。其實如果僅是找連通子圖，用DFS對所有節點遍
2020-03-25 03:01:54
原创 機器學習 python
** 機器學習 ** 機器學習發展背景 1.機器學習奠基人 “人工智能之父” 艾倫.圖靈 馬文·李·閔斯基（英語：Marvin Lee Minsky，1927年8月9日－2016年1月24日），科學家，專長於認知科學與人工智能領域
2020-03-19 13:30:48
原创 tableau 製作疫情可視化報表(impala 連接)
tableau 製作疫情可視化報表 1.tableau 通過impala連接hadoop 1.1 mac下載tableau，impala驅動（https://www.cloudera.com/downloads/connec
2020-03-03 10:53:52
2
原创 用戶畫像-ID_MAPPING pyspark實戰
一、背景簡介 用戶性別預測是我進入機器學習領域的HelloWorld級工程實踐，也是第一個從業務需求分析、數據源調研、數據整理和特徵工程到建模、模型評估、系統部署這一完整流程都由自己獨立設計實現的工程。非常有幸能接觸到這個難度不是
2019-08-14 14:25:58
2
原创 機器學習-樸素貝葉斯文本分類Python實現
機器學習-樸素貝葉斯文本分類Python實現 一 樸素貝葉斯必須瞭解的概率 條件概率 聯合概率（乘法公式） 全概率公式 樸素貝葉斯公式 以上詳解請看 概率基礎 樸素貝葉斯文本分類最通俗易懂講解 樸素貝葉斯通俗易懂講解 樸素貝葉斯代
2019-07-30 14:35:45