原创 【pytorch教程2】

待續

原创 python畫圖系列

目錄 文章目錄@[toc]1.在圖上加入參考線2.x軸刻度重疊怎麼辦?3.如何讓多個子圖共用1個colorbar?4.y軸座標尺度不同的2張圖重疊畫 1.在圖上加入參考線 import matplotlib.pyplot as

原创 學會使用JOIN語句

Hive sql只支持 等值連接,不支持 非等值連接 以及 or連接(而 標準sql是支持 非等值連接的,hive sql不支持 非等值連接的原因是,通過mapreduce很難實現這種類型的連接)。 Hive sql有幾種連接類型

原创 HIVE調優【2】如何優化任務的mapper和reducer個數

寫在前面:1個hadoop集羣 可以提供的map和reduce資源(可稱爲“插槽”)個數是 固定的。因此如果某個大job消耗完所有的插槽,會導致 其他job無法執行。故,有必要設置 hive.exec.reducers.max來

原创 HIVE調優【1】如何讀懂explain打印出的抽象語法樹

1.使用explain explain可以展示 hive是如何將查詢 轉化爲 mapreduce 任務的。 示例: explain select sum(number) from onecol; 執行完上面的 語句後,會 打印出

原创 HIVE表的壓縮和解壓

待續

原创 HIVE調優

1.使用explain explain可以展示 hive是如何將查詢 轉化爲 mapreduce 任務的。 思考:

原创 tensorflow教程【1】

待續

原创 【pytorch教程3】

待續

原创 pytorch教程【1】

1.數據加載 將數據處理成pytorch可以使用的格式非常簡單

原创 keras教程【4】輔助工具

本例中介紹了 callbacks參數 、網絡可視化工具、Application(提供了諸多已經訓練好的模型,方便進行遷移學習)。 1.model.fit中的callbacks參數 callbacks參數 可以接收 回調函數。本例介

原创 keras教程【3】使用ResNet

由於ResNet模型結構 比之前幾篇介紹基礎模型 複雜,這裏使用Functional模型(即函數式模型)來替代 Sequential模型,因爲Functional模型使用起來更加靈活,可以處理分支網絡等情況。 1.構建ResNet

原创 keras教程【1】編寫多層感知機mlp

1.導包 keras.datasets: 包含多種常用數據集,實現自動下載和解析等; keras.models:包含各種模型結構,1)順序模型Sequential; keras.layers:包含常用的層結構,1)全連接層Dens

原创 keras教程【2】編寫CNN

1.導包 keras.datasets: 包含多種常用數據集,實現自動下載和解析等; keras.models:包含各種模型結構,1)順序模型Sequential; keras.layers:包含常用的層結構,1)全連接層Dens

原创 自定義HIVE文件和記錄格式

1.create table語句的默認格式 hive中create table語句中的默認存儲格式是stored as textfile.(即文本文件數據編碼) 什麼是 文本文件數據編碼? 在文本文件中,每一行數據就是1條記錄,