原创 資源管理與調度系統YARN(YARN基本架構及原理)
文章目錄why YARNMRv1 侷限性YARN設計動機YARN 設計思想YARN 基本架構ResourceManager(RM)ApplicationMaster(AM)NodeManager(NM)ContainerYARN高
2020-05-30 18:18:09
原创 python進程（一）
文章目錄多任務編程進程進程的優先級父子進程進程相關的函數os.getpid()os.getppid()os._exit(status)sys.exit([status])殭屍進程處理殭屍進程的方法os.wait()os.waitp
2019-07-10 18:21:45
2
原创 RNN
文章目錄循環神經網絡與前饋神經網絡的異同點RNN的展開模型基於時間的反向傳播算法調整$W_y$所需的梯度計算：調整$W_s$所需的梯度計算：調整$W_x$所需的梯度計算 循環神經網絡與前饋神經網絡的異同點 循環神經網絡的原則與前饋神經
2019-03-05 04:02:47
2
原创 tensorflow卷積層&池化層
文章目錄卷積層池化層tensorflow 最大池化 卷積層 tensorflow提供了tf.nn.conv2d()和tf.nn.bias_add()函數來創建卷積層 下面示例用tf.nn.conv2d()函數來創建一個卷積層 # Ou
2019-02-02 01:18:50
2
原创 keras中的卷積層&池化層
文章目錄卷積層創建卷積層卷積層的格式及參數：卷積層中的參數數量卷積層的形狀池化層keras中的最大池化層參數 卷積層 創建卷積層 首先導入keras中的模塊 from keras.layers import Conv2D 卷積層的格
2019-01-21 23:57:03
原创 CIFAR-10數據集下載及轉換
keras中提供的cifar10數據集可能因爲網速等問題無法直接下載讀取，可以進入官網下載到本地，網址： http://www.cs.toronto.edu/~kriz/cifar.html， 這裏我們下載python版本的。 將下載
2019-01-21 23:57:03
2
原创 MySQL學習筆記二
文章目錄數據導入數據導出表的複製只複製表機構嵌套查詢多表查詢左連接右連接數據備份(在linux終端操作)命令格式源庫名的表示方式數據恢復(在linux終端操作)命令格式從所有庫的備份文件中恢復某一個庫(--one-database)E
2019-01-21 23:57:03
原创 MySQL學習筆記一
文章目錄MySQL概述MySQL安裝Ubuntu 安裝MySQL服務Windows安裝MySQL服務啓動和連接MySQL服務基本的SQL命令SQL命令的使用規則庫的管理庫的基本操作：庫的命名規則表的管理注意表記錄的管理(1) 在表中插
2018-12-17 00:14:28
原创 資源管理與調度系統YARN(一)
文章目錄why YARNMRv1 侷限性YARN設計動機YARN 設計思想YARN 基本架構ResourceManager(RM)ApplicationMaster(AM)NodeManager(NM)ContainerYARN高可用
2018-12-17 00:14:28
原创 分佈式協調服務ZooKeeper
文章目錄分佈式協調服務的存在意義leader 選舉負載均衡ZooKeeper 數據模型層級命名空間WatcherSessionZooKeeper 基本架構ZooKeeper 應用leader 選舉分佈式隊列負載均衡 在分佈式系統中，服
2018-12-15 00:02:22
原创 Xgboost存儲爲pmml以及在java中調用
首先，我們構建一個xgboost模型並存儲爲PMML形式，使用到的包是sklearn2pmml，可以將sklearn中的模型保存爲PMML的形式 import pandas as pd from xgboost.sklearn imp
2018-12-13 00:29:49
1
原创 Python學習筆記九
文章目錄迭代器函數的重寫異常(with)環境管理器對象的屬性管理函數運算符重載反向算術運算符的重載比較運算符的重載位運算符重載反向位運算符重載複合賦值位運算符重載一元運算符的重載一元運算符的重載方法in / not in 運算符的重載
2018-12-08 01:02:44
原创 Python學習筆記八
文章目錄面向對象(object)編程類構造函數屬性(attribute)刪除屬性初始化方法析構方法預置實例屬性用於類的函數類變量 class variable(也叫類屬性)類的文檔字符串類的__slots__列表類方法 @classm
2018-12-08 01:02:44
原创 Python學習筆記七
文章目錄字節串bytes和字節數組bytearray字節串bytes字節數組bytearray文件文本文件的操作文檔文件的寫操作文本文件的迭代讀取標準輸入輸出文件flush 方法二進制文件操作漢字編碼Python 編碼字符串 字節串b
2018-11-20 09:58:21
原创 Python學習筆記六
文章目錄異常(exception)try-except語句：try_finally語句raise 語句assert 語句(斷言語句)迭代器和生成器(iterator & generator)迭代器生成器Generator生成器函數生成
2018-11-13 02:11:57