原创 Hdfs
1介紹 設計思想是分而治之，將大文件、大批量文件，分佈式存放在大量服務器上，以便於採取分而治之的方式對海量數據進行運算分析。 在大數據系統中的應用是爲各類分佈式運算框架提供數據存儲服務。 2.特性 hdfs中的文件在物理上是分塊存儲(bl
2020-02-26 06:18:25
原创 Redis--（一）
1.nosql介紹 not only sql。特點是以下： 不支持sql語法、存儲結構和傳統關係型數據庫中的關係表完全不同，nosql存儲的數據都是kv形式、每種nosql數據庫都有自己的api和語法以及擅長的業務場景。 種類有:mong
2020-02-26 06:18:25
原创 Zookeeper（二）
1.一致性同步的時間延遲:是實時的。zookeeper中數據的更新和讀取是基於paxos一致性算法。 2.zookeeper的數據結構： 目錄樹，每個節點叫做znode,並且有唯一的一個路徑標識，每個節點可以攜帶一份二進制數據，不
2020-02-26 06:18:25
原创 Hadoop(二)--aliyun下安裝hadoop集羣2.x
0.服務器節點規劃 hdp01 nn dn nm snn rm hdp02 dn nm hdp03 dn nm 1.修改主機名 vi /etc/sysconfig/network 在NETWORKING_IPV6=no PEERNTP
2020-02-26 06:18:25
原创 網絡編程模型 nio
1.簡介 nio 是new io的簡稱，1.4之後提供。特性：爲所有的原始類型提供緩存支持(Buffer),字符集編碼解碼解決方案，channel一個原始的i/o抽象，支持鎖和內存映射文件的文件訪問接口，提供多路(non-blcoking
2020-02-26 06:18:25
原创 redis--(二)
1.String數據類型（常作爲緩存使用） 一個key能存儲512MB數據，String類型是線程安全的，可以存儲任何數據，比如jpg圖片或者序列化對象 set key value / get key 設置值/獲取值 getrang
2020-02-26 06:18:25
原创 Hadoop(一)
1.介紹 HADOOP是apache旗下的一套開源軟件平臺 HADOOP提供的功能：利用服務器集羣，根據用戶的自定義業務邏輯，對海量數據進行分佈式處理 HADOOP的核心組件有 ： HDFS（分佈式文件系統） YARN（運算資源調
2020-02-26 06:18:25
原创 消息隊列(一)
消息隊列常用於有生產者和消費者兩類角色的多線程同步場景，BlockingQueue是java.util.concurrent下的主要用來控制線程同步的工具。主要方法有：put、take一對阻塞存取；add、poll一對非阻塞存取。 插入：
2020-02-26 06:18:25