原创 hadoop1 集羣搭建

環境說明:      m是datanode       hodoop1是datanode       hodoop2是datanode         hodoop3是datanode  注意:hadoop分佈式集羣一般是在僞分佈式的基

原创 mysql sql語句大全

mysql sql語句大全 1、說明:創建數據庫 CREATE DATABASE database-name 2、說明:刪除數據庫 drop database dbname 3、說明:備份sql serve

原创 騰訊大規模Hadoop集羣實踐

http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop

原创 hadoop-hbase-zookeeper 集羣的開關過程 命令

啓動hadoop  [hadoop@m bin]$ ./start-all.sh 啓動hbase export HBASE_MANAGES_ZK=true    --使用hbase啓動zookeeper export HBASE_MAN

原创 zookeeper 集羣搭建

1、zookeeper 是用來保證zk集羣的數據的事務的一致性 2、集羣搭建 解壓   tar -zxvf zookeeper.gz 配置環境變量 ZK_HOME=/opt/zk PATH =.:$ZK_HOME/bin:$PATH 修

原创 hadoop作業調優參數整理及原理

http://www.alidata.org/archives/1470

原创 Quartz定時任務

最近使用到quartz的定時任務總結下: 0、使用到的jar quartz-1.8.4.jar,commons-logging-1.1.3.jar,slf4j-api-1.5.8.jar,slf4j-log4j12-1.5.8.jar,l

原创 僞分佈式集羣環境hadoop、hbase、zookeeper搭建(全)

環境說明  1、操作系統centos 6.5 2、jdk-7u51-linux-x64.tar.gz   hadoop-1.1.2.tar.gz  hbase-0.94.7-security.tar.gz   zookeeper-3.4.

原创 ip轉換爲基本類型的簡單封裝

因爲網管系統對ip使用的比較多,然後網上搜索發現對ip的轉爲的封裝比較少,所以我這就對其做了下簡單封裝,以便日後使用,如有不對還請指出。 代碼如下: import java.io.IOException; import java.ne

原创 爬蟲任務1

爬蟲任務1get post請求豆瓣電影 top250 https://movie.douban.com/top250 get post請求 import requests url = 'https://www.baidu.com/'

原创 PyTorch的基本概念

PyTorch的基本概念1.什麼是Pytorch,爲什麼選擇Pytroch?2.Pytroch的安裝3.PyTorch基礎概念4.Pytorch基本實現 1.什麼是Pytorch,爲什麼選擇Pytroch? 作爲NumPy的替代品,

原创 統計學任務二

統計學任務二中心極限定理(centra limit theorem)置信區間 中心極限定理(centra limit theorem) 中心極限定理,是指概率論中討論隨機變量序列部分和分佈漸近於正態分佈的一類定理。這組定理是數理統計學

原创 決策樹算法梳理

決策樹算法梳理1. 信息論基礎(熵 聯合熵 條件熵 信息增益 基尼不純度)2.決策樹的不同分類算法(ID3算法、C4.5、CART分類樹)的原理及應用場景3. 迴歸樹原理4. 決策樹防止過擬合手段5. 模型評估6. sklearn參數

原创 python基礎任務三

python基礎任務三1. dict字典a. 定義b. 創建c. 字典的方法2. 集合a.. 特性b 創建c. 方法3. 判斷語句(要求掌握多條件判斷)4. 三目表達式5. 循環語句 1.

原创 統計學任務1

統計學任務1統計學基本知識二項分佈泊松分佈大數定律正態分佈 統計學基本知識 二項分佈 泊松分佈 大數定律 正態分佈