原创 初識Hadoop：大數據與Hadoop概述
1、大數據概述 大數據（big data），IT行業術語，是指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。 大
2020-06-29 00:55:08
原创 Mac使用Homebrew安裝Kafka
1、使用brew install命令安裝Kafka $ brew install kafka 安裝過程將依賴安裝 zookeeper 軟件位置 /usr/local/Cellar/zookeeper /usr/local/
2020-06-29 00:55:08
原创 Flume監聽端口，輸出端口數據案例
1、在flume目錄下新建/myconf目錄,並在目錄下新建socket-console.conf 文件！ mkdir myconf cd myconf touch socket-console.conf 2、編輯文件vim s
2020-06-29 00:55:08
原创 Hadoop的目錄結構
-rw-r--r--@ 1 marron27 staff 106210 10 23 2019 LICENSE.txt -rw-r--r--@ 1 marron27 staff 15841 10 23 2019 N
2020-06-29 00:55:08
原创 Hadoop之HDFS應用
1、通過http://127.0.0.1:8088/即可查看集羣所有節點狀態： 2、訪問http://localhost:9870/即可查看文件管理頁面（在3.0.0中在之前的版本中文件管理的端口是50070，替換爲了9870端
2020-06-29 00:55:08
原创 Hadoop的安裝及配置
1、Hadoop安裝前準備工作： 在開始Hadoop安裝與配置之前，需要準備的環境：Linux系統、配置JDK環境變量。 2、安裝 我們可以到Apache Hadoop的官網http://hadoop.apache.org/進行下
2020-06-29 00:55:08
原创 Redis（一）：什麼是NoSQL與NoSQL分類
1、什麼是NoSQL NoSQL = Not only SQL (不僅是SQL)，即泛指非關係型數據庫。隨着Web2.0時代誕生！NoSQL在當今大數據的環境下發展十分迅速！ NoSQL 是一項全新的數據庫革命性運動，早期就有人提
2020-06-16 11:37:03
原创 Redis（五）：List集合數據類型詳解
Redis列表是簡單的字符串列表，按照插入順序排序。你可以添加一個元素到列表的頭部（左邊）或者尾部（右邊） 一個列表最多可以包含 232 - 1 個元素 (4294967295, 每個列表超過40億個元素)。 實例： redis
2020-06-16 11:37:03
原创 Redis（二）：Redis入門與性能測試
1、Redis概述 Redis是什麼： Redis（Remote Dictionary Server )，即遠程字典服務，是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫，並提
2020-06-16 11:37:03
原创 Redis（七）：Hash哈希數據類型詳解
Redis hash 是一個 string 類型的 field 和 value 的映射表，hash 特別適合用於存儲對象。 Redis 中每個 hash 可以存儲 232 - 1 鍵值對（40多億）。 實例： 127.0.0.1:
2020-06-16 11:37:02
原创 Redis（十三）：Redis實現樂觀鎖
1、悲觀鎖與樂觀鎖 樂觀鎖和悲觀鎖是一種程序設計思想，而不是具體的代碼。樂觀鎖和悲觀鎖應用的場景有很多，在數據庫和多線程等等都會用到。 悲觀鎖：總是假設最壞的情況，每次去拿數據的時候都認爲別人會修改，所以每次在拿數據的時候都會上
2020-06-16 11:37:02
原创 Redis（十四）：Jedis
Jedis是Redis官方推薦的Java連接開發工具。要在Java開發中使用好Redis中間件，必須對Jedis熟悉才能寫成漂亮的代碼！ 1、新建Maven工程，導入對應依賴 <dependencies> <dep
2020-06-16 11:37:02
原创 Redis（十一）：Redis特殊類型之Bitmap位圖
1、位存儲 只有0和1兩種狀態！ Bitmap 位圖：數據結構，都是操作二進制位來進行記錄 登錄/未登錄 活躍/不活躍 打卡 兩個狀態的都可以使用Bitmap！ 2、常用命令 2.1、用Bitmap來記錄 週一到週日的登陸情況 1
2020-06-16 11:37:02
原创 Redis（零）：背景
什麼是NoSQL，什麼是Redis，我們在瞭解這個系列之前，先來看一下Redis是從何而來？Why redis is needed? 1、單機MySQL年代 在最早的單機MySQL年代，存在着訪問量小，單個數據庫等特點。 但是特
2020-06-16 11:37:02
原创 Redis（八）：Zset有序集合數據類型詳解
Redis 有序集合和集合一樣也是string類型元素的集合,且不允許重複的成員。 不同的是每個元素都會關聯一個double類型的分數。redis正是通過分數來爲集合中的成員進行從小到大的排序。 有序集合的成員是唯一的,但分數(s
2020-06-16 11:37:02