原创 RDD任務切分之Stage任務劃分(圖解和源碼)
RDD任務切分中間分爲：Application、Job、Stage和Task （1）Application：初始化一個SparkContext即生成一個Application； （2）Job：一個Action算子就會生成一個Job； （3
2020-06-21 05:19:45
原创 hive 啓動元數據服務（metastore和hiveserver2）和優雅關閉腳本
hive 啓動元數據服務（metastore和hiveserver2）和優雅關閉腳本 hive.sh #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs mkdir -p $HIVE_LOG_DIR
2020-06-20 23:19:35
原创 hive on tez+tez-ui配置和遇到的兼容問題與踩坑記錄
框架 版本號 Hadoop 3.1.3 Hive 3.1.2 Tez 0.10.1 需要資料包的可以關注我微信公衆號(最底有二維碼)，回覆關鍵字"tez"領取 tez是一個Hive的運行引擎，性能優於MR
2020-06-20 22:10:55
32
原创 機器學習之線性模型詳細手推公式與代碼實現（篇一）
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言 個人既可碼代碼也可以碼文字。歡迎轉發與關注 關注我，在公衆號回覆 “機器學習” 可領取電子書 線性迴歸模型 在統計學中，線性迴歸（英語：linear regressi
2020-06-20 21:12:07
原创 你知道搜索是怎樣的一個原理嗎？對話形式通俗易懂
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言個人既可碼代碼也可以碼文字。歡迎轉發與關注 前提 上一篇：Elasticsearch，從一個浪漫的故事開始（原理篇） 上一篇文章詳細的介紹了Elasticsearch，屬於純文
2020-06-16 02:15:31
原创 Elasticsearch，從一個浪漫的故事開始（原理篇）
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言個人既可碼代碼也可以碼文字。歡迎轉發與關注 從一個浪漫的故事開始 許多年前，一個名叫Shay Banon的開發者，帶着新婚妻子去倫敦生活，在得知妻子想從事廚師工作後，準備利用自
2020-06-16 02:15:31
原创 你的抖音，你的小視頻，你的淘寶是不是總會給你推薦一些東西呢？LFM隱語義模型瞭解下
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言 個人既可碼代碼也可以碼文字。歡迎轉發與關注 關注我，在公衆號回覆 “機器學習” 可領取電子書 ###什麼是隱語義模型LFM 協同過濾算法主要包括基於用戶的協同過濾（U
2020-06-12 17:04:20
原创 讀那麼多書有什麼用？這貨人傻錢多？
微信公衆號：王了個博 人要去的地方，除了遠方，還有未來個人既可碼代碼也可以碼文字。歡迎轉發與關注* 今天不講技術，今天我們看看日常生活——"倖存者偏差" 今天有幸看到李永樂老師的視頻《倖存者偏差——你所看到的，未必是真相》頗有感悟，
2020-06-09 06:22:51
原创 論文查重怎麼搞的？一篇文章的簡介怎麼出來的呢？關鍵詞提取怎麼提取的呢？TF-IDF算法可以瞭解下
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言個人既可碼代碼也可以碼文字。歡迎轉發與關注 什麼是TF-IDF TF-IDF是一種統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨着
2020-06-09 06:22:51
原创 Python怎麼去提升工作效率的？小進階
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言個人既可碼代碼也可以碼文字。歡迎轉發與關注 Python入門小進階 接着上一篇目繼續學習python 上一篇鏈接：半天輕輕鬆鬆入門python 本篇主要學習內容 函數
2020-06-09 06:22:51
原创 半天輕輕鬆鬆入門python
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言 個人既可碼代碼也可以碼文字。歡迎轉發與關注 一天學會Python基礎 Python崇尚優美、清晰、簡單，是一個優秀並廣泛使用的語言。 應用領域 Web應用開發 自動
2020-06-09 06:22:51
原创 機器學習之分類算法k-NN介紹與代碼實現（篇三）
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言個人既可碼代碼也可以碼文字。歡迎轉發與關注 關注我，在公衆號回覆 "機器學習" 可領取電子書 什麼是KNN？ 維基百科給出的解釋： 在模式識別領域中，最近鄰居法（k-NN算法，
2020-05-21 05:36:32
3
原创 歡迎關注我的公衆號“王了個博”，感謝大家支持和鼓勵
歡迎關注我的微信公衆號 王了個博 ,感謝大家支持和鼓勵！ 我將在微信公衆號寫技術類的(java,scala,大數據,機器學習等等)或者是生活小矯情類的文章，當前的CSDN也會保持更新，但兩者內容不會完全一致
2020-05-21 05:36:32
原创 機器學習之多元線性迴歸模型梯度下降公式與代碼實現（篇二）
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言個人既可碼代碼也可以碼文字。歡迎轉發與關注 上一篇我們介紹了線性迴歸的概述和最小二乘的介紹,對簡單的一元線性方程模型手推了公式和python代碼的實現。 機器學習之線性迴歸模型
2020-05-19 14:18:09
原创 otter,阿里巴巴分佈式數據庫同步系統
微信公衆號：王了個博 專注於大數據技術，人工智能和編程語言個人既可碼代碼也可以碼文字。歡迎轉發與關注 otter官網介紹項目背景 otter文檔地址 https://github.com/alibaba/otter/wiki otter
2020-05-19 14:18:09