原创 Python的易混地帶

  Python的易混地帶   每門編程語言都有易混淆的部分,下面列舉出一些Python的易混淆知識點。 == 和 is 的區別 在Python中,”==” 操作符測試值的相等性; “is”表達式測試對象的一致性,即是否

原创 webservice簡單詳細的實現方法

首先一定要下載包到 http://ws.Apache.org/axis/網站下載Axis安裝包. 然後最重要的就寫wsdd 文件,好多例子都說先寫deploy.wsdd文件,如下: <deployment xmlns="http://xm

原创 jsp向後臺傳中文,tomcat和weblogic下中文亂碼解決方法

前端jsp:GBK編碼         var groupsName = "全體組";         window.location.href="http://archive.cnblogs.com/a/2192992/<%25=pa

原创 Java NIO原理圖文分析

一.java NIO 和阻塞I/O的區別      1. 阻塞I/O通信模型      2. java NIO原理及通信模型 二.java NIO服務端和客戶端代碼實現 具體分析: 一.java NIO 和阻塞I/O的區別  1. 阻塞

原创 協同過濾推薦算法

原始博客地址:http://blog.sina.com.cn/s/blog_73de143c010153vp.html 協同過濾是一種基於一組興趣相同的用戶或項目進行的推薦,它根據鄰居用戶(與目標用戶興趣相似的用戶)的偏好信息產生對目標用

原创 Shuffle執行過程分析

 Shuffle執行過程 Map端: 1.每個輸入分片會讓一個map任務來處理,默認情況下,以HDFS的一個塊的大小(默認爲64M)爲一個分片,當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環形內存緩衝區中(該緩衝區的大小默認

原创 erlang lists模塊函數使用大全

一,帶函數Pred 1, all(Pred, List) -> boolean() 如果List中的每個元素作爲Pred函數的參數執行,結果都返回true,那麼all函數返回true, 否則返回false 例子: lists:all(fu

原创 MapReduce作業運行流程

一.MapReduce作業運行流程       根據源碼分析作業的提交流程時序圖如下 MR的作業流程圖: 1.在客戶端啓動一個作業。 2.通過JobClient向JobTracker請求一個Job ID和資源文件存放路徑。

原创 hadoop集羣搭建

1.配置Linux環境1.1選擇Host-only方式1.2修改Linux的IPvim /etc/sysconfig/network-scripts/ifcfg-eth0文件內容如下DEVICE="eth

原创 基於線程安全的單例

基於線程安全的單例: public final class EagerSingleton  {      private static EagerSingleton singObj = new EagerSingleton(); 

原创 HBase RowKey設計原則

本文引自淘寶技術部文章:http://rdc.taobao.org/?p=457 建議使用String如果不是特殊要求,RowKey最好都是String。 方便線上使用Shell查數據、排查錯誤 更容易讓數據均勻分佈 不必考慮存儲成本

原创 Hadoop生態圈常用命令

Hadoop生態圈常用命令 1.格式化HDFShadoop namenode -format 2.啓動start-all.shstart-dfs.shstart-mapred.sh 3.ssh免登陸在ro

原创 Hadoop生態圈開源項目總結

一.Hadoop總結 1.HDFS shell1.0查看幫助hadoop fs -help <cmd>1.1上傳hadoop fs -put <linux上文件> <hdfs上的路徑>1.2查看文件內容h

原创 Linux安裝MySQL數據庫

1、準備安裝程序(官方網站下載)服務端:MySQL-server-community-5.1.44-1.rhel4.i386.rpm客戶端:MySQL-client-community-5.1.44-1.

原创 hadoop運維問題彙總,持續更新

1.hadoop運行一段時間後關閉集羣居然報了no datanode/namenode... to stop這樣的問題,原因是hadoop運行各節點的節點進程id和pid文件記錄的進程號不一致導致,造成進