原创 hive 導入數據的幾種方式

insert單條數據,需要hive版本在0.14以上(效率很低,不常用) insert into table student_1 values(2,'zhangsan'); 從本地文件導入到hive load data local

原创 hive內部表和外部表

  內部表創建方法: create table student( id int, name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; 使用 desc format

原创 hive 單節點安裝

準備工作: 1.配置好JAVA_HOME 2.安裝好hdfs和mapreduce,請參考:hadoop hdfs mapreduce yarn 單節點安裝 3.準備好mysql,並新建hive庫。 4.下載hive安裝包,本次使用hive

原创 hive的metadata、metastore 、hiveserver2、beeline 之間的關係

先解釋一下幾個名詞: metadata :hive元數據,即hive定義的表名,字段名,類型,分區,用戶這些數據。一般存儲關係型書庫mysql中,在測試階段也可以用hive內置Derby數據庫。 metastore :hivestore服

原创 hadoop hdfs mapreduce yarn 單節點安裝

  爲了學習和測試,可以將hadoop的所有功能都安裝到一臺機器。 1.配置JAVA_HOME,因爲hadoop運行依賴java環境 2.下載hadoop包2.6.5版本,下載地址:http://archive.apache.org/di

原创 pandas

一、pandas series pandas series 是像數組一樣的一維對象,可以存多數種數據類型。 1、創建pandas series import pandas as pd students = pd.Series(data

原创 04 ndarray 讀取和修改

我們可以從 ndarray 中獲取想要的任何子集。通常,在機器學習中,你需要使用切片拆分數據,例如將數據集拆分爲訓練集、交叉驗證集和測試集。 一、訪問元素 我們可以通過索引和方括號[] 訪問和修改ndarray中的數據。 import

原创 05 ndarray 切片

我們除了能夠一次訪問一個元素之外,NumPy 還提供了訪問 ndarray 子集的方式,稱之爲切片。切片方式是在方括號裏用冒號 : 分隔起始和結束索引。通常,你將遇到三種類型的切片: 1. ndarray[start:end] 2. n

原创 02 numpy ndarray

目錄   一、介紹 二、創建ndarray 三、ndarray 的類型 dtype 四、ndarray 寫入文件 一、介紹 ndarray 是numpy的核心,ndarray是一個多維數組的數據結構,而且這個多維數組的結構可以根據需要改變

原创 01 numpy 序言

在開始之前我們先做一個簡單的性能測試,我們隨機生成1億個0 到 1之間的數,然後求平均值。看看python自帶sum方法和numpy的耗時: import numpy as np import time x = np.random.r

原创 00 Numpy 介紹

目錄   一、介紹 二、安裝 三、參考文檔 四、numpy學習目錄 一、介紹 numpy 是 Numerical Python的簡稱,Numpy是Python中基礎科學計算的軟件包,Numpy爲Python提供大量的數學庫,使我們能夠高效

原创 07 python pip

目錄   一、pip介紹 二、安裝 三、常用命令 一、pip介紹 pip 是python管理包的工具,和java的maven類似。 二、安裝 具體安裝步驟參考:https://www.runoob.com/w3cnote/python-p

原创 00 python 介紹

目錄 一、安裝 第一步:檢查本機是否安裝python 第二步:下載安裝包 第三步:安裝 二、helloworld 三、運行python腳本 四、課程目錄 這幾年隨着大數據和機器學習的崛起,python也越來越火。對於程序員來說掌握pyth

原创 05 python 函數

目錄 一、定義函數 二、調用函數 三、變量作用域 四、Lambda 表達式 一、定義函數 #參數名後面加等於表示默認值 def add_calc(a, b = 0): return a + b 二、調用函數 #調用方式1,指

原创 06 python 進階

目錄 一、腳本編寫 1、編寫腳本 2、運行腳本 二、捕獲異常 三、讀寫文件 1、讀文件 2、寫文件 3、with 讀取文件 四、import 關鍵詞 五、導入本地腳本 六、 __name__ 七、標準庫 一、腳本編寫 python 是一種