原创 感知機中的關鍵問題:點到平面的距離,和梯度更新的符號

感知機的原理、以及學習方法,還是比較簡單的,參考: https://www.pkudodo.com/2018/11/18/1-4/ 但其中有2點關鍵,不是特別好理解: 1、關於點到平面的距離: 參考:https://www.jian

原创 【/強化學習7日打卡營-世界冠軍帶你從零實踐/課程摘要和調參心得-No.4】基於策略梯度求解RL

一、學習內容 4.基於策略梯度求解RL 4.1隨機策略與策略梯度 先來複習一下之前講的value-based和policy-based的RL方法: Policy-based的方法可直接輸出動作的概率,比較適用於隨機性策略 具體來說就

原创 【/強化學習7日打卡營-世界冠軍帶你從零實踐/課程摘要和調參心得-No.5】連續動作空間上求解RL

一、學習內容 5.連續動作空間上求解RL 5.1連續動作空間 離散和連續動作跟環境有關: 可分別採用隨機性策略和確定性策略: 實踐中可分別用sample函數和tanh函數: DDPG(Deep Deterministic Polic

原创 【/強化學習7日打卡營-世界冠軍帶你從零實踐/課程摘要和調參心得-No.3】基於神經網絡方法求解RL

一、學習內容 3.基於神經網絡方法求解RL 3.1函數逼近與神經網絡 當狀態空間非常龐大的時候,用Q表格來對Q-value進行評估,內存方面非常不現實。 因此可以加個w參數,改用值函數擬合的方法: 一個簡單的例子如圖所示,神經網絡輸出

原创 【/強化學習7日打卡營-世界冠軍帶你從零實踐/課程摘要和調參心得-No.2】基於表格型方法求解RL

一、課程內容 2.基於表格型方法求解RL 2.1 MDP、Q表格 強化學習的基本思路來源於馬爾科夫決策過程Markov Decision Process(MDP): 在設計強化學習方法中,model-free和model-based的區

原创 【/強化學習7日打卡營-世界冠軍帶你從零實踐/課程摘要和調參心得-No.1】強化學習初印象

最近參加了百度paddlepaddle第一期的強化學習課程,是百度工程師李科澆老師講解的,特在此分享一下內容和心得。 課程分爲7節,內容比較基礎,但是講解的很細緻、深刻,主要介紹了值函數、策略梯度的強化學習。 下面就分別介紹一下課程內容

原创 Linux 開機自動mount硬盤

sudo fdisk -l                       # 查看可掛載的磁盤 df -h                           # 查看已經掛載的磁盤 sudo mkfs.ext4 /dev/sdb

原创 關於tensorflow分類模型程序的訓練架構的一點思考

過去的一點不成熟的想法,記下來供以後參考。 參考tf-slim並簡化,可以大致把tensorflow分類模型的python程序,劃分爲如下的目錄結構:   訓練程序目錄結構: tfrecord_generate.py tfrecord生成

原创 windows上的cuda8和cuda9切換,win10 + vs2015

WIN10_CUDA8和CUDA9切換: 在開發過程中,CUDA版本經常需要切換。在linux上需要更改環境變量,其實在windows上也是一樣的。 首先,CUDA8和CUDA9可以兼容安裝,在使用時更改環境變量即可切換。 如何切換成CU

原创 Opencv中利用VideoCapture類將視頻保存爲圖片

#include <iostream> #include "opencv2/opencv.hpp" using namespace std; using namespace cv; void main() { VideoCapt

原创 Python中計時,看這一篇就夠了

計時對於瞭解程序的性能是很關鍵的部分。本文討論了Python 2和python 3中計時方法,並完成了一個通用的計時裝飾器。一、python2和python3的通用計時方法由於python2和3裏面的計時函數是不一樣的,建議使用timei

原创 N卡雙顯卡電腦裝ubuntu15.04並配置Anaconda+Tensorflow+cuda+cuDNN的深度學習環境

1.序 這篇文章的目的是Tensorflow環境配置的經驗和流程總結,涉及3個部分: 1)裝ubuntu並配置顯卡驅動; 2)裝CUDA+cuDNN庫並解決cuda與顯卡驅動衝突問題 3)以常用的科學計算python包Anaconda爲基

原创 Python中如何給任務添加進度條

最近不務正業一下,給自己的程序加個進度條,以解決處理長時間任務時對着黑屏或者只看到print的尷尬。 以文件讀取爲例,給出了處理文件每一行並顯示進度的一個例子: import sys import numpy as np def pro

原创 Caffe多任務訓練時忽略部分無用或未標註類標

Ignore labels in Caffe when using Multi-Task Multi-label training現在不經常用caffe了,不過臨時面臨一個問題:多任務訓練的時候,假設有N個任務,但部分圖片類標不全,或者只

原创 Tensorflow查看網絡(inspect)、凍結變量(freeze)和遷移訓練(finetune)

Tensorflow查看網絡、凍結變量和遷移訓練 (Inspect network structure, freeze graph variables, and finetune/transfer learning in Tensorfl