原创 第2次課改善深層神經網絡:超參數優化、正則化以及優化 - week2 優化算法

1. mini-batch,小批量梯度下降法 批量(Batch)和小批量(mini-batch)梯度下降法 向量化輸入輸出 輸入:(nx ,m),n個特徵,m個樣本 X=[x(1)x(2) ... x(m)] 輸出:(1,

原创 第2次課改善深層神經網絡:超參數優化、正則化以及優化 - week3 超參數調試、Batch正則化和程序框架

1. 調試處理 超參數重要性排序 學習速率(learning rate)α 動量權重β=0.9 ,隱藏層節點數,mini-batch size 層數,learning rate decay Adam優化算法的參數β1=0.9, 

原创 win7下xgboost安裝教程

1. 安裝環境 系統:windows7 ultimate 旗艦版 service package1,64位,sp1以下的可能會在編譯make時失敗,建議重裝系統 python:Anaconda,64位 2. 工具準備 2.

原创 Kaggle-Titanic一個完整的例子

Kaggle-Titanic一個完整的例子 特徵工程 數據和特徵決定了機器學習的上限,而模型和算法只是逼近這個上限而已 挑選合適的特徵,並構建一些新特徵加入模型 詳細解釋看參考文檔[1] 原有的特徵 PassengerId

原创 xgboost+python參數介紹的簡單使用

官網參數介紹(英文版) http://xgboost.readthedocs.io/en/latest/how_to/param_tuning.html http://xgboost.readthedocs.io/en/la

原创 no1 計算機視覺歷史 & k近鄰線性分類器 & 損失函數和最優化

計算機視覺歷史回顧和介紹 現代互聯網85%都是圖片,如何處理?計算機視覺十分必要。 哈佛大學放圖片對貓的腦部視覺區脈衝檢測,50%都在處理眼睛的信息,發現切換圖片的時候纔有感覺,所以視覺的前期是對圖片邊緣和形狀的識別。 Block wor

原创 AlexNet

Imagenet classification with deep convolutional neural networks AlexNet Krizhevsky A, Sutskever I, Hinton G E. Imagene

原创 no2 神經網絡

反向傳播 求導鏈式法則+反向計算 訓練過程:通過前向傳播得到損失,反向傳播得到梯度(∂L∂w ),最後用梯度更新權重。 一個神經元的運算 那麼∂L∂x=∂L∂z∂z∂x ,∂L∂y=∂L∂z∂z∂y ,∂L∂w=∂L∂z∂z∂w 。通過

原创 簡單線性迴歸

什麼是簡單線性迴歸 用統計的方法來得到連續自變量x和因變量y之間的線性關係。和一般線性迴歸的區別在於只有一個自變量。 華氏溫度和攝氏溫度之間的關係: Fahr=95Cels+32 這是一個確定的線性關係,不是我們需要解決的問題。 相對的,

原创 深度殘差網絡

Deep Residual Learning for Image Recognition He K, Zhang X, Ren S, et al. Deep residual learning for image recognition

原创 U-Net

U-Net: Convolutional Networks for Biomedical Image Segmentation U-Net,用卷積神經網絡來做生物醫學圖片分割 Ronneberger O, Fischer P, Brox

原创 語義分割metric

Precision, Recall Rate, and F-score 一般用來評估圖像分割中的邊緣檢測問題。準確度是檢測出的像素中是邊緣的比例,召回率是檢測出的正確邊緣佔所有邊緣的比例,F-score是兩者的調和平均數。 precisi

原创 谷歌乳腺癌Detecting Cancer Metastases on Gigapixel Pathology Images

Detecting Cancer Metastases on Gigapixel Pathology Images 在高分辨率的病理圖片上檢測癌症轉移 Liu Y, Gadepalli K, Norouzi M, et al. Dete

原创 2017年深度學習語義分割導讀

總體概述 大多數的語義分割研究都是基於自然,或者說是實際世界的圖片。雖然這些結果不能直接應用到醫學圖像中,但是這些研究更加的成熟,也有很多的借鑑意義。 本篇博客首先解釋了什麼是語義分割問題,給出了方法的概述,最後總結了一些有趣的論文。 在

原创 第3次課結構化機器學習 - week1 機器學習策略(1)

1. 爲什麼是ML策略 需求 建了一個模型,但是離目標還差點,需要改進該模型,有如下一些思路: 收集更多的數據 收集一些反例 用梯度下降訓練更長的時間 用Adam優化算法 嘗試更大的網絡 嘗試小點的網絡 嘗試dropout 添加L2 正