原创 hive 導入數據的幾種方式
insert單條數據，需要hive版本在0.14以上(效率很低，不常用) insert into table student_1 values(2,'zhangsan'); 從本地文件導入到hive load data local
2019-09-06 00:53:11
原创 hive內部表和外部表
內部表創建方法： create table student( id int, name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; 使用 desc format
2019-09-04 15:40:23
原创 hive 單節點安裝
準備工作： 1.配置好JAVA_HOME 2.安裝好hdfs和mapreduce，請參考：hadoop hdfs mapreduce yarn 單節點安裝 3.準備好mysql，並新建hive庫。 4.下載hive安裝包，本次使用hive
2019-09-02 15:24:26
原创 hive的metadata、metastore 、hiveserver2、beeline 之間的關係
先解釋一下幾個名詞： metadata ：hive元數據，即hive定義的表名，字段名，類型，分區，用戶這些數據。一般存儲關係型書庫mysql中，在測試階段也可以用hive內置Derby數據庫。 metastore ：hivestore服
2019-09-02 15:24:26
2
原创 hadoop hdfs mapreduce yarn 單節點安裝
爲了學習和測試，可以將hadoop的所有功能都安裝到一臺機器。 1.配置JAVA_HOME，因爲hadoop運行依賴java環境 2.下載hadoop包2.6.5版本，下載地址：http://archive.apache.org/di
2019-09-02 15:24:25
原创 pandas
一、pandas series pandas series 是像數組一樣的一維對象，可以存多數種數據類型。 1、創建pandas series import pandas as pd students = pd.Series(data
2019-07-30 15:45:34
原创 04 ndarray 讀取和修改
我們可以從 ndarray 中獲取想要的任何子集。通常，在機器學習中，你需要使用切片拆分數據，例如將數據集拆分爲訓練集、交叉驗證集和測試集。 一、訪問元素 我們可以通過索引和方括號[] 訪問和修改ndarray中的數據。 import
2019-07-09 15:53:40
原创 05 ndarray 切片
我們除了能夠一次訪問一個元素之外，NumPy 還提供了訪問 ndarray 子集的方式，稱之爲切片。切片方式是在方括號裏用冒號 : 分隔起始和結束索引。通常，你將遇到三種類型的切片： 1. ndarray[start:end] 2. n
2019-07-09 15:53:40
原创 02 numpy ndarray
目錄 一、介紹 二、創建ndarray 三、ndarray 的類型 dtype 四、ndarray 寫入文件 一、介紹 ndarray 是numpy的核心，ndarray是一個多維數組的數據結構，而且這個多維數組的結構可以根據需要改變
2019-07-08 01:31:58
原创 01 numpy 序言
在開始之前我們先做一個簡單的性能測試，我們隨機生成1億個0 到 1之間的數，然後求平均值。看看python自帶sum方法和numpy的耗時： import numpy as np import time x = np.random.r
2019-07-08 01:31:58
原创 00 Numpy 介紹
目錄 一、介紹 二、安裝 三、參考文檔 四、numpy學習目錄 一、介紹 numpy 是 Numerical Python的簡稱，Numpy是Python中基礎科學計算的軟件包，Numpy爲Python提供大量的數學庫，使我們能夠高效
2019-07-07 15:40:07
原创 07 python pip
目錄 一、pip介紹 二、安裝 三、常用命令 一、pip介紹 pip 是python管理包的工具，和java的maven類似。 二、安裝 具體安裝步驟參考：https://www.runoob.com/w3cnote/python-p
2019-07-05 00:51:29
原创 00 python 介紹
目錄 一、安裝 第一步：檢查本機是否安裝python 第二步：下載安裝包 第三步：安裝 二、helloworld 三、運行python腳本 四、課程目錄 這幾年隨着大數據和機器學習的崛起，python也越來越火。對於程序員來說掌握pyth
2019-07-05 00:51:29
原创 05 python 函數
目錄 一、定義函數 二、調用函數 三、變量作用域 四、Lambda 表達式 一、定義函數 #參數名後面加等於表示默認值 def add_calc(a, b = 0): return a + b 二、調用函數 #調用方式1,指
2019-07-02 15:44:18
原创 06 python 進階
目錄 一、腳本編寫 1、編寫腳本 2、運行腳本 二、捕獲異常 三、讀寫文件 1、讀文件 2、寫文件 3、with 讀取文件 四、import 關鍵詞 五、導入本地腳本 六、 __name__ 七、標準庫 一、腳本編寫 python 是一種
2019-07-02 15:44:18