原创 Redis數據持久化、數據備份、數據的故障恢復
緩存由於其高併發和高性能的特性，已經在項目中被廣泛使用。在讀取持久化，數據備份，數據的故障恢復方面你究竟瞭解多少呢? 1.redis持久化的意義----redis故障恢復 在實際的生產環境中，很可能會遇到redis突然掛掉的情況，比如re
2019-06-12 16:50:11
4
原创 Redis持久化原理
1、RDB工作原理和優缺點 工作中用到了redis的持久化，這裏就開始總結了一下redis的持久化原理。 RDB是redis將內存數據存儲到磁盤文件的其中一種方式(另一種是AOF)。我們可以在redis.conf文件中，做一些針對RDB的
2018-12-08 01:10:29
原创 SpringBoot自動配置原理
1、自動配置原理 配置文件到底能寫什麼？怎麼寫？自動配置原理； 配置文件能配置的屬性參照 1、自動配置原理： 1）、SpringBoot啓動的時候加載主配置類，開啓了自動配置功能 @EnableAutoConfiguration 2）
2018-11-20 10:05:32
原创 flume學習筆記（一）
今天小編開始學習了flume這個組件了，之前也接觸過一點，但遲遲未能將自己的筆記落地，心裏還是挺懶的，今天總算可以靜下心來好好寫一篇博客了。 一、flume簡介 flume 作爲 cloudera 開發的實時日誌收集系統
2018-09-18 22:25:34
2
原创 HBase啓動出現org.apache.hadoop.hbase.TableExistsException: hbase:namespace錯誤
今天在啓動HBase的時候莫名的HMaster啓動不起來，查看日誌後發現這個錯誤： 2018-09-06 23:05:49,385 FATAL [master:linux201:60000] master.HMaster: Unhandl
2018-09-07 20:58:22
原创 TF-IDF原理及使用
一. 什麼是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 詞頻-逆文件頻率). 是一種用於資訊檢索與資訊探勘的常用加權技術。TF-IDF是一種統計方法，用以評估一字詞對於
2018-09-03 17:20:43
原创 jieba中文分詞學習筆記一
1、中文分詞 在介紹結巴中文分詞前，先簡單介紹一下中文分詞。中文分詞(Chinese Word Segmentation) 指的是將一個漢字序列切分成一個一個單獨的詞。分詞就是將連續的字序列按照一定的規範重新組合成詞序列的過程
2018-09-03 17:20:43
原创 Kafka的配置信息
Kafka配置信息1、 Broker配置信息屬性默認值描述broker.id 必填參數，broker的唯一標識log.dirs/tmp/kafka-logsKafka數據存放的目錄。可以指定多個目錄，中間用逗號分隔，當新partition
2018-09-03 17:20:43
原创 Scala學習筆記（三）
這裏開始學習scala的數據結構 1.1 數據結構特點 Scala同時支持可變集合和不可變集合，不可變集合從不可變，可以安全的併發訪問。 兩個主要的包： 不可變集合：scala.collection.immutable 可變集合： s
2018-09-03 17:20:43
原创 windows系統下在idea中用spark訪問遠程hive
NO 步驟1安裝配置jdk1.82安裝配置scala2.11.183 寫操作hive的demo4導入pom.xml中依賴jar5下載hadoop的binary包，我的版本是2.7.36下載winutils.exe將其放到HADOOP_
2018-09-03 17:20:43
2
原创 Scala學習筆記整理（一）
1.1 聲明值和變量 Scala聲明變量有兩種方式，一個用val，一個用var。 val / var 變量名 : 變量類型 = 變量值。 val定義的值是不可變的，它不是一個常量，是不可變量，或稱之爲只讀變量。 val示例： scal
2018-09-03 17:20:43
2
原创 推薦算法之協同過濾CF
這兩天看了一下幾個比較重要也很常見的推薦算法，基於內容推薦和基於用戶推薦，查閱了不少資料，還是想着將這些整理下來。 Collaborative filtering (CF)算法試圖找到一種通過用戶行爲爲其提供一種具體建議的模型。他依據用戶
2018-09-03 17:20:43
原创 HIve常用的基本語句總結
1、HIve基本數據類型 Hive 數據類型 長度 例子 TINYINT 1byte 有符號整數 20 SMALINT 2byte 有符號整數 20 INT 4byte 有符號整數 20 BIGINT 8byte 有符號整數 20 BOO
2018-09-03 17:20:43
原创 Scala學習筆記整理（二）
這裏主要分析一下，控制結構和函數 1.1 if else表達式 scala中沒有三目運算符，因爲根本不需要。scala中if else表達式是有返回值的，如果if或者else返回的類型不一樣，就返回Any類型（所有類型的公共超類型）。
2018-09-03 17:20:43
原创 樸素貝葉斯算法分析
這兩天開始學習樸素貝葉斯算法，下面開始寫一些自己查閱資料的總結 1、分類問題概述 在介紹樸素貝葉斯算法前，我們先簡單瞭解下分類問題，因爲樸素貝葉斯是分類算法中的一種。 定義：給定一個對象X，將其劃分到預定義好的某一個類別Yi
2018-09-03 17:20:43