計算模型
- 首先構造好整個計算鏈路(圖)
- 可以對鏈路進行優化
- 分佈式調度
基於層模型
- 每個層的計算,固定實現 forward/backward
- 必須手動指定目標GPU卡
概念
- 使用張量表示數據
- 使用圖來表示計算任務
- 在繪畫的上下文中執行圖
- 通過變量維護狀態
- 使用feed和fetch可以爲任意的操作賦值或者從其中獲取數據
numpy vs tensorflow
tensorflow 計算圖
tensorflow一般分爲2部分
- 構造部分,包含計算流圖
- 執行部分,通過session來執行圖中的計算
構建圖
- 創造源節點(source op)
- 源節點輸出傳遞給其他節點op做運算
TF默認圖
- tf python庫有default graph
- 節點構造器可以增加節點
簡要例子
變量
- 用variable來保存參數w
- 注意要先初始化
多cpu和gpu
用 with … device 控制操作