原创 hadoop歷史服務器

可以通過歷史服務器查看已經運行完的Mapreduce作業記錄,比如用了多少個Map、用了多少個Reduce、作業提交時間、作業啓動時間、作業完成時間等信息。 默認情況下,hadoop歷史服務器是沒有啓動的,我們可以通過下面的命令來啓動ha

原创 mongodb的分頁查詢

下面這個是我的測試數據 > db.test.find().sort({"age":1}); { "_id" : ObjectId("58623df3d13eafd014b937ab"), "name" : "aa", "age" : 20

原创 hadoop添加snappy解壓縮庫

Snappy是用C++開發的壓縮和解壓縮開發包,旨在提供高速壓縮速度和合理的壓縮率。 雖然生成的壓縮文件可能會比其他壓縮庫的要大上20%至100%,但是,相比其他的壓縮庫,Snappy卻能夠在特定的壓縮率下擁有驚人的壓縮速度。 也就是說用

原创 mapreduce的結果寫入到mysql中

輸入文件爲: 把統計的IP 和每個ip的總數存入到mysql中 1、自定義類,該類實現了從日誌記錄中判斷數據是否合格 public class TextLine {private String ip;//標識數據是否合法       

原创 zookeeper單節點安裝Standalones模式

本文使用的是:zookeeper-3.4.6.tar.gz [root@master cloud]# java -version java version "1.7.0_79" Java(TM) SE Runtime Environmen

原创 二叉樹的鏡像

題目描述 操作給定的二叉樹,將其變換爲源二叉樹的鏡像。 輸入描述: 二叉樹的鏡像定義:源二叉樹 8 / \ 6 10 / \ / \ 5 7 9 11

原创 順時針打印矩陣

題目描述 輸入一個矩陣,按照從外向裏以順時針的順序依次打印出每一個數字,例如,如果輸入如下矩陣: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 則依次打印出數字1,2,3,4,8,12,16,15,14,1

原创 otter安裝

譯意: 水獺,數據搬運工 語言: 純java開發 定位: 基於數據庫增量日誌解析,準實時同步到本機房或異地機房的mysql/oracle數據庫. 一個分佈式數據庫同步系統 otter的環境需要:mysql,jdk,zookeeper,no

原创 樹的子結構

題目描述輸入兩棵二叉樹A,B,判斷B是不是A的子結構。(ps:我們約定空樹不是任意一個樹的子結構) 上面所示的兩棵二叉樹,由於A中有一部分子樹的結構和B是一樣的,因此B是A的子結構。 要查找樹A中是否存

原创 PowerDesigner連接mysql導出mysql的結構生成pdm

我使用的軟件 PowerDesigner165.exe mysql-5.5.38-winx64.msi mysql-connector-odbc-5.1.5-win32.msi 1、首先安裝這三個軟件。怎麼安裝就不好了,下一步下一步就行

原创 hadoop2的HDFS的高可用性

在hadoop1中,namenode存在單點故障,每一個集羣中只有一個namenode,如果namenode所在的機器出現了故障,那麼將導致整個集羣無法利用 主要在兩方面影響了HDFS的可用性: 1)、在不可預測的情況下,如果nameno

原创 mysql主從同步

主庫服務器環境: 操作系統:Centos6.7 數據庫:Mysql5.6.34 IP: 192.168.10.1 從庫服務器環境: 操作系統:Centos6.7 數據庫:Mysql5.6.34 IP:192.168.10.2 查看cent

原创 canal安裝

首先要安裝mysql # yum install -y mysql-server mysql mysql-devel # service mysqld start         //啓動mysql服務 # mysqladmin -u r

原创 zookeeper僞分佈式集羣安裝

所謂 “僞分佈式集羣” 就是在,在一臺PC中,啓動多個ZooKeeper的實例。“完全分佈式集羣” 是每臺PC啓動一個ZooKeeper實例。 在一臺PC中,啓動3個ZooKeeper的實例。 [root@master zookeeper

原创 反轉鏈表

輸入一個鏈表,反轉鏈表後,輸出鏈表的所有元素。 本文考慮的是單鏈表 定義單鏈表 public class ListNode {     int val;    //自身值     ListNode next = null;      //