原创 mongodb 簡介
MongoDB是一個文檔數據庫，旨在簡化開發和擴展。 文獻數據庫¶ MongoDB中的記錄是一個文檔，它是由字段和值對組成的數據結構。MongoDB文檔類似於JSON對象。字段的值可以包括其他文檔，數組和文檔數組。 使用文檔的優
2020-04-20 17:51:55
原创 CentOS Graylog 安裝
前提條件 以最少的服務器設置爲基礎將需要以下附加軟件包： $ sudo yum install java-1.8.0-openjdk-headless.x86_64 如果要pwgen以後使用，則需要使用來安裝系統上的EPEL
2020-04-20 17:51:55
31
原创 Graylog日誌系統規劃
日誌收集： 設計日誌管理解決方案時，必須考慮許多因素，即使在小型組織中，現代環境也會產生大量日誌數據，您將需要一種策略來對其進行有效管理。有兩種主要方法： “做有需要的人”： 決定要收集哪些事件時，“極簡策略”將從“默認否”位置開始。這意
2020-04-18 14:28:54
84
原创 Graylog
日誌監控系統 Graylog是一個開源的日誌聚合、分析、審計、展現和預警工具。功能上和ELK類似，但又比ELK要簡單，依靠着更加簡潔，高效，部署使用簡單的優勢很快受到許多人的青睞。今天就跟着小live來了解一下Graylog的安裝部署吧!
2020-04-18 14:28:54
原创 java 文件系統
文件系統： 文件系統是操作系統操作設備上文件和數據結構的方法。操作系統中負責管理文件信息的軟件單元叫文件管理系統，簡稱文件系統，文件系統由三部分組成：文件系統的接口，對象操作和管理的軟件集合和對象及屬性。文件系統主要解決信息的長期存
2020-04-10 17:35:46
原创 關於編寫基礎組件開發的一些思考
以前主要寫的是業務系統，感覺業務系統有很成熟的架構，已經封裝了很多功能，只需要在架構基礎上書寫業務邏輯代碼即可，主要用的的技術也就是JPA，業務複雜一些可能會有多線程高併發的知識。 但是最近向從0開始寫一個大數
2020-04-10 17:35:46
原创 hadoop 壓縮技術
1. 概述 隨着大數據時代的來臨，數據體量越來越大，處理這些數據會越來越受到網絡IO的限制，爲了儘可能多的處理更多的數據我們必須使用壓縮。 壓縮技術能夠有效減少底層存儲系統（HDFS） 讀寫字節數。壓縮提高了網絡帶寬和磁盤空間的效
2020-04-10 17:35:46
1
原创 hadoop平臺存儲文件格式的概念及對比
最近在書寫大數據基礎組件的時候對hadoop平臺的文件格式感覺到有些困惑，不知道各自的優缺點及如何使用。現特意總結一下： hdfs支持哪些文件格式： TEXTFILE：textfile爲默認格式，存儲方式爲行式存儲，在檢索時磁盤開銷大 數
2020-04-10 17:35:46
原创 yarn使用cgroup隔離cpu資源
yarn使用cgroup隔離cpu資源 yarn默認只管理內存資源,雖然也可以申請cpu資源,但是在沒有cpu資源隔離的情況下效果並不是太好.在集羣規模大,任務多時資源競爭的問題尤爲嚴重. 還好yarn提供的LinuxContainerE
2020-02-23 20:53:01
1
原创 Flink源碼解析 | 從Example出發：理解Flink啓動流程
從《Apache Flink本地部署》這篇文章中可以看到，我們啓動集羣都是通過腳本start-cluster.sh開始執行。 我們的源碼解析之路就從flink的bash腳本入手。 start-cluster.sh bin=`dirnam
2020-02-23 20:53:01
原创 數據採集系統
兩個月的時間，終於做出了數據採集系統，雖然支持的插件少了一點，但是整個數據採集的調度，工作流以及執行引擎功能都已完成，後面需要開發新的數據源只需要添加對應的task任務。 數據採集架構： 程序執行時序圖：
2020-02-23 20:53:01
原创 spring總結-----Spring AOP
什麼是AOP aop(Aspect-Oriented Programming), 即 面向切面編程 , 它與 OOP( Object-Oriented Programming, 面向對象編程) 相輔相成, 提供了與 OOP 不同的抽象軟件
2020-02-23 20:53:01
原创 spring總結-----Spring AOP實現
spring AOP實現主要依賴java動態代理，實現代理的方法有JDK的方法和CGLIB的方法。下面就對jdk代理和CGLIB代理做些簡介： 1.JDK方法：利用java.lang.reflect.Proxy類，但侷限在於需要被代理的對
2020-02-23 20:53:01
原创 java架構師
架構師的定義？ 個人覺得架構師需要具有以下幾特點： 知識廣度：需要知道主流技術爲什麼誕生，能解決什麼問題？如果同一種業務用不用的技術來實現，會有什麼哪些優缺點？比如：流行的ORM框架Mybatis 和 hibernate ，還有s
2020-02-23 20:53:01
原创 JanusGraph問題
一 問題：使用jar包連接 JanusGraph 會掛掉，報連不上遠程主機。 回答：待回答 二 問題：查詢節點或節點數量時出現 WARN org.janusgraph.graphdb.transaction.StandardJanusGr
2020-02-23 20:53:01