原创 hadoop集羣節點添加硬盤
hadoop的優勢就是多磁盤，多存儲，分佈式計算，所以不可避免的磁盤空間會不足的時候，這個時候就需要爲datanode節點添加磁盤來提高存儲空間。 下面說下爲集羣添加磁盤的步驟： 1.對新加入的硬盤分區 使用fdisk /dev/s
2020-07-07 10:42:04
1
原创 hive上報ERROR:10004錯誤和order by ,sort by區別
在使用hive寫hql時報10004錯誤，提示列字段名稱錯誤。這是一個很常見的錯誤。下面分析下這個錯誤的原因。 例如：select name,count(1) from student group by name order by id;
2020-07-07 10:41:53
1
原创 關於HttpServletRequest的方法的使用
1 HttpServletRequest的功能 HttpServletRequest在JavaWeb中非常重要的一個類。它是Servlet的service()方法的參數之一！所以你必須必須要掌握它！ request的功能可以分爲以下幾種：
2020-07-07 10:41:53
1
原创 hbase調優
http://blog.csdn.net/rzhzhz/article/details/7481674 因官方Book Performance Tuning部分章節沒有按配置項進行索引，不能達到快速查閱的效果。所以我以
2020-07-07 10:41:53
2
原创 kafka之simpleConsumer
Kafka提供了兩套API給Consumer The high-level Consumer API The SimpleConsumer API 第一種高度抽象的Consumer API，它使用起來簡單、方便，但是對於某些特
2020-05-31 11:30:12
原创 設置table中的td內容位置
今天調試html頁面，遇到一個問題。想讓td標籤中的內容向右定位，在table中定義樣式text-align:right，但是死活不起作用。然後加上width:100%就起作用了。 不要問我爲什麼，我也不知道，有知道的大神請告知。
2020-05-31 11:30:12
原创 Zookeeper Api(java)入門與應用(轉)
如何使用 Zookeeper 作爲一個分佈式的服務框架，主要用來解決分佈式集羣中應用系統的一致性問題，它能提供基於類似於文件系統的目錄節點樹方式的數據存儲，但是 Zookeeper 並不是用來專門存儲數據的，它的作用主要是用來維護和監控
2020-02-23 13:28:22
原创 Hbase簡介
今天發現一篇介紹hbase很全面的文章，轉載過來以記錄。轉載地址http://jiajun.iteye.com/blog/899632 hbase是bigtable的開源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存儲、可伸
2020-02-23 13:28:22
原创 cognos中如何設置自動郵箱發送功能
關於cognos自動發送郵件的介紹網上介紹很多，這裏就不多說了。主要說下今天遇到的情況： 今天嘗試設置cognos的郵件自動發送功能，配置好了SMTP和郵箱的賬號和密碼，導致但是測試總是失敗。上報郵箱驗證不通過，查了很多資料但是都沒有說清
2020-02-23 13:28:22
原创 Hadoop異常之could only be replicated to 0 nodes, instead of 1
在Hadoop的環境搭建過程中，常常會遇到類似這樣的錯誤信息提示：“could only be replicated to 0 nodes, instead of 1”，產生這樣的錯誤原因有多種，這裏列舉出以下四種常用的解決
2020-02-23 13:28:22
原创 Hadoop之壓縮
在大數據環境下，數據的存儲也是個問題。如何存儲大量的文件和計算一直是人們所關注的。因爲hadoop的分佈式存儲和計算模型，其實瓶頸在於IO而非傳統的CPU，這樣壓縮存儲非常合適。hadoop提供了內置壓縮格式和支持第三方的本地壓縮算
2020-02-23 13:28:22
原创 hive之存儲數據格式
在項目中使用到了hive,本來覺得挺簡單的無非就是CRUD，慢慢發現不是那麼回事。特開文章來記錄下來以備後查。 在使用傳統的數據庫時因爲封裝的很好，屏蔽了許多底層細節，所以在使用時只需關注應用的開發無需關注底層的實現。在使用hiv
2020-02-23 13:28:22
原创 hive添加壓縮
hive在存儲數據時會對HDFS上的數據做映射，在MYSQL中僅僅存儲的是元數據信息。所有的數據都是存儲在HDFS上的。 現在有個需求是需要對hive操作生成的數據改爲壓縮數據存儲，提高HDFS的存儲空間利用率。這裏有幾點需要記錄的：
2020-02-23 13:28:22
原创 java之進制計算
今天有空寫下java進制之間的運算和表達方式。 首先介紹下java基本數據類型的類型和長度。在java中一共有八種基本數據類型，分別爲byte、short、int、long、boolean、float、double、char。它們的長
2020-02-23 13:28:22
原创 hive中使用is null和is not null問題
在使用HQL時如果有空值喜歡追隨SQL99的規範使用IS NULL 和IS NOT NULL來判斷，這個是一般的思維習慣。但是在hive中跟傳統的數據庫不一樣的地方在於NULL的解讀。 在傳統數據庫中字段沒有值或者爲空即表示爲NUL
2020-02-23 13:28:22