原创 scala 類

在java中把屬性私有,然後提供公有方法來訪問。public void setAge(int newValue) { if(newValue > age){     age=newValue;     } }之所以說getter和sette

原创 scala bean屬性

當將scala字段標準爲@BeanProperty時,會自動生成get/set方法。import scala.reflect.BeanProperty class Counter_3 {   @BeanProperty   var n

原创 python連接mysql

```#coding=utf-8import MySQLdbconn= MySQLdb.connect(        host='localhost',        port = 3306,        user='root',  

原创 Python多版本管理軟件pyenv的安裝應用及pip的使用講解

近期Comyn老師的Python視頻推出之後,大家一直在討論者pyenv這個軟件的應用問題,簡單寫一篇基本用法,給大家做下簡單介紹:目錄:一、pyenv介紹二、centos6.4上安裝配置pyenv三、使用pyenv安裝python四、py

原创 我的友情鏈接

51CTO博客開發See you next year CA馬哥教育LinuxChris On the way陳cc何cy鄧俊陽韓立剛廖冠南博客show you knowledge心情依舊雷納科斯博客xlowsHadoopzengzhaozh

原创 博客收藏

 hbase   博客:搜索技術博客  淘寶  關注技術搜索淘寶博文:hbase技術介紹博客:量子恆道官方博客    ued   淘寶其它技術博客博客:taobaoued  淘寶UED官方博客UED,User Experience Desi

原创 統計PV、UV

使用的工具:三臺linux、hadoop-1.1.2、jdk1.7.0_45、Xmanager Enterprise 4、eclipse、目標統計:pv、uv對日誌字段進行分析每行記錄有5部分組成:訪問ip 2.訪問時間 3.訪問資源 4.

原创 運行jar包所需要的環境依賴

```hadoop_HOME="/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/bin/../lib/hadoop" for f in $hadoop_HOME/hadoop-*.jar;

原创 linux_zip

linux zip命令 zip -r myfile.zip ./* 將當前目錄下的所有文件和文件夾全部壓縮成myfile.zip文件,-r表示遞歸壓縮子目錄下所有文件.2.unzip unzip -o -d /home/sunny my

原创 Python多版本管理軟件pyenv的安裝應用及pip的使用講解

近期Comyn老師的Python視頻推出之後,大家一直在討論者pyenv這個軟件的應用問題,簡單寫一篇基本用法,給大家做下簡單介紹:目錄:一、pyenv介紹二、centos6.4上安裝配置pyenv三、使用pyenv安裝python四、py

原创 python連接mysql

```#coding=utf-8import MySQLdbconn= MySQLdb.connect(        host='localhost',        port = 3306,        user='root',  

原创 hadoop遇到的問題

博客:liping博文:hadoop關於處理大量小文件的問題和解決方法 博文:hadoop無法解決的問題博客:Idmer 數據挖掘者從數據中獲取價值!歡迎探討一切關於數據挖掘、商業智能、商業分析、行業應用方面的問題……博文:數據挖掘中易犯1

原创 數據量估計

每秒2萬條一分2*60=120萬一小時 120*60=7200萬每條按1K計算72000000*1K=70312.5Mb=68.6645508Gb硬盤一個月 69G*24*31=51336G=50T每數據備份三份: 50T*3=150T數據

原创 我的友情鏈接

51CTO博客開發See you next year CA馬哥教育LinuxChris On the way陳cc何cy鄧俊陽韓立剛廖冠南博客show you knowledge心情依舊雷納科斯博客xlowsHadoopzengzhaozh

原创 一張圖精通Mapreduce