原创 Spark操作——行動操作(一)
集合標量行動操作 存儲行動操作 集合標量行動操作 first(): T 返回RDD中的第一個元素，不進行排序 count(): Long 返回RDD中的元素個數 reduce(f:(T, T) => T):
2020-06-26 21:16:53
原创 Zookeeper架構淺析
一、架構 部分 描述 Client 分佈式應用程序集羣中的一個節點，連接服務器進行訪問。對於特定的時間間隔，客戶端向服務器端發送消息已使服務器知道客戶端還活着。相反，當客戶端連接時，服務器會發送確認，若服務器無響應，則客戶端會自動將
2020-06-26 21:16:53
原创 IDEA Maven項目利用Junit4進行單元測試
最近在開發項目的時候需要寫單元測試，之前一直沒有接觸過，於是從零開始入門學習，查了網上相關資料，總結成爲筆記，在此感謝各位大佬的詳細資料！！！ 目錄 0、背景 1、單元測試簡介 2、實踐 （1）創建項目 （2）創建Junit_Te
2020-06-26 21:16:53
1
原创 Supervisor配置文件淺析
官方文檔：http://supervisord.org/configuration.html supervisor的配置文件通常命名爲supervisord.conf，啓動時若沒有使用參數-c指定參數文件，則會在本地按照一定的順序查找名爲
2020-06-26 21:16:53
原创 Redis未授權訪問漏洞介紹及修復方案
Redis 漏洞介紹 1. 什麼是Redis未授權訪問漏洞 Redis 暴露在公網（即綁定在0.0.0.0:6379，目標IP公網可訪問），並且沒有開啓相關認證和添加相關安全策略情況下會被攻擊者利用，比如未添加防火牆規則來避免其他非信任I
2020-06-26 21:16:53
原创 Redis基本數據類型—字符串類型
字符串類型是Redis中最基本的數據類型，它可以存儲任何形式的字符串，包括二進制數據。其他的類型都是以字符串類型爲基礎，可以看作是字符串類型的不同組織形式。 1、賦值與取值 格式 redis> SET key value
2020-06-26 21:16:53
原创 Redis基本數據類型—散列類型
散列類型是一種字典結構的鍵值對，其中字段值必須是字符串類型 1、賦值與取值 格式 redis> HSET key field value # 單個字段賦值 redis> HGET key fie
2020-06-26 21:16:53
原创 Zookeeper的CLI命令
Zookeeper的命令行界面（CLI）用於與Zookeeper集羣進行交互以用於開發目的。 一、CLI命令 [zk: localhost:2181(CONNECTED) 0] -h ZooKeeper -server host:por
2020-06-26 21:16:53
原创 Zookeeper quota管理
Zookeeper的quota機制可以設置節點個數及空間大小 語法 setquota -n|-b val path # 設置節點quota信息 listquota path # 獲取節點quota信息 de
2020-06-26 21:16:53
原创 Redis如何禁用高危命令
Redis如何禁用高危命令高危命令禁用或重命名 對於生產環境中使用的Redis一定要禁用一些高危命令，避免因誤操作而造成的巨大損失。 高危命令 1. KEYS # 雖然該命令的模糊匹配功能很強大，但只適用於小數據量，
2020-06-26 21:16:53
1
原创 Redis基本數據類型——列表類型
列表類型可以存儲一個有序的字符串列表，常用的操作是向列表兩端添加元素、或者獲取列表某一個片段。 Redis的列表類型是使用雙向鏈表實現的。向兩端添加、刪除元素的時間複雜度爲O(1)。 1、向兩端添加、刪除元素 格式 redis> L
2020-06-26 21:16:53
原创 Spark操作——行動操作(二)
集合標量行動操作 存儲行動操作 存儲行動操作 saveAsTextFile(path: String): Unit saveAsTextFile(path: String, codec: Class[_ <: Compr
2020-06-26 21:16:53
原创 Supervisor的安裝與部署
簡介 supervisor是一個進程管理工具，使用python開發的一個client/server服務，是Linux/Unix系統下的一個進程管理工具，可以很方便的監聽、啓動、停止、重啓一個或多個進程。用superviso
2020-06-26 21:16:53
原创 Spark操作——轉換操作(三)
基礎轉換操作 鍵值轉換操作 鍵值轉換操作 partitionBy(partitioner: Partitioner):RDD[(K,V)] 將原來的RDD根據給定的Partitioner函數進行重新分區。 scala>
2020-05-23 18:12:55
原创 Spark操作——控制操作
cache(): RDD[T] persist(): RDD[T] persist(level: StorageLevel): RDD[T] cache和persist操作都是對RDD進行持久化，其中cache是persist
2020-05-23 18:12:54