原创 hadoop 控制map任務數詳解
但是通過這種方式設置map的個數，並不是每次都有效的。原因是mapred.map.tasks只是一個hadoop的參考數值，最終map的個數，還取決於其他的因素。 爲了方便介紹，先來看幾個名詞： block_size : hdfs的文件塊
2020-02-25 19:32:49
原创 騰訊壟斷高院公審 360呼籲：不要讓壟斷扼殺創業者的中國夢
騰訊壟斷高院公審 360呼籲：不要讓壟斷扼殺創業者的中國夢 科學中國-中國網 science.china.com.cn 時間： 2013-11-26 責任編輯: 海峯 11月26日上午9時，有中國“互聯網反壟斷第一案”之稱
2020-02-25 19:32:49
原创 wget 命令用法詳解
wget是在Linux下開發的開放源代碼的軟件，作者是Hrvoje Niksic，後來被移植到包括Windows在內的各個平臺上。它有以下功能和特點： （1）支持斷點下傳功能；這一點，也是網絡螞蟻和FlashGet當年最大的賣點，現在，
2020-02-25 19:32:49
原创 解決 Agent admitted failure to sign using the key 問題 with ssh
之前如果建立 ssh 連接, 只要將公鑰複製到 ~/.ssh/authorized_keys 就可以利用金鑰登入 而不需要建立密碼. 現在的 ssh 使用同樣的方法會出現錯誤訊息 Agent admitted failure to s
2020-02-25 19:32:39
原创 Hadoop 新 MapReduce 框架 Yarn 詳解
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
2020-02-25 19:32:39
原创 C#操作Word
近期因爲項目需要,寫了許多word2003編程的東東.有時候遇到難題想查sdk說明,很難找到中文解釋,對於e文不好的我來說,簡直是天書.想必很多人多有感慨. 下面列出內容是一些常用的內容說明,希望對大家有幫助. 那
2018-09-04 15:10:46
7
原创 Fork and Join: Java也可以輕鬆地編寫併發程序
牛逼的文章，看人家寫的代碼好羨慕啊！！！！！Fork and Join: Java也可以輕鬆地編寫併發程序 原文地址 作者：Julien Ponge 譯者：iDestiny 翻譯地址 資源下載： Java SE 7 S
2018-09-04 15:10:46
原创 java枚舉類型詳解
1. 枚舉類型 1.1枚舉類型簡介 J2SE 5.0 以及之前的JDK有兩種基本方法可以來定義新類型：通過Classes 以及Interface. 對於大部分面向對象編程來說，這兩種方法看起來似乎足夠了.但是在一些特殊情況下
2018-09-04 15:10:46
原创 Impala1.2.4安裝配置詳解
1、 安全性考慮，我們使用hive用到的賬戶cup進行impala的啓停等操作，而不另外使用impala賬戶；這涉及到後文中的一些文件夾權限調整、配置文件中的用戶參數調整； 2、 性能考慮，impala-state-store、i
2018-09-04 15:10:46
原创 hadoop 0.20.2 多文件輸出
看了網上的很多文章，還是這個最靠譜 inkfish原創，請勿商業性質轉載，轉載請註明來源（http://blog.csdn.net/inkfish ）。 Hadoop默認的輸出是TextOutputFormat，輸出文件名
2018-09-04 15:10:45
原创 mapreduce程序中讀取文件過程詳解
hadoop的inputformat包括他的子類reader是maptask讀取數據的重要步驟 一、獲得splits-mapper數 1. jobclinet的submitJobInternal，生成split，獲取mapper數量
2018-09-04 15:10:45
2
原创 linux安裝Mysql
Redhat 5 下安裝Mysql 1.下載Server和client Server： Java代碼 wget http://mysql.easynet.be/Downloads/MySQL-5.5/MySQL-server
2018-09-04 15:10:45
3
原创 Hadoop2.0 端口
查看HDFS: http://16.187.94.161:50070 查看RM: http:// 16.187.94.161:8088
2018-09-04 15:10:45
原创 Caused by: org.datanucleus.store.rdbms.exceptions.MissingTableException: Required table m
最近需要提取一些數據，故開始使用hive，本機搭建了一個hive客戶端環境，但是始終有問題，在本機裝好了mysql以後，老是報 Java代碼 Caused by: org.datanucleus.store.rd
2018-09-04 15:10:45
原创 hadoop如何自定義InputFormats和OutputFormats
Data Mining,NLP,Search Engine Hadoop的InputFormats和OutputFormats InputFormat InputFormat類用來產生InputSplit，並把它切分成reco
2018-09-04 15:10:45