原创 多層感知器分類器的 Tensorflow 實現

數據準備 本文中以 0~9 數字圖片識別,首先準備圖片數據,這裏使用到的是 MNIST 數據集,藉助 Keras 實現: import os import tensorflow as tf # 導入 TF 庫 from tenso

原创 Tensorflow 之 張量操作

改變形狀 通過 tf.reshape(x, new_shape),可以對張量的視圖進行任意的合法改變 x=tf.range(96) x=tf.reshape(x,[2,4,4,3]) 增刪維度 增加維度:增加一個長度爲 1 的維

原创 Tensorflow 之 張量類型

常量類型 在 Tensorflow 中任何變量都需要轉換爲 Tensorflow 可以識別的類型,當然作爲變量的特殊形式(不可改變)常量需要使用 tf.constant 存儲或轉換爲張量類型 tf.Tensor ,當然可能不太貼切

原创 Tensorflow 之 CPU計算效率和GPU計算效率對比

import numpy as np import matplotlib from matplotlib import pyplot as plt plt.close() # Default parameters for

原创 梯度提升機(Gradient Boosting Machine)之 LightGBM

隨着大數據時代的到來,GBDT正面臨着新的挑戰,特別是在精度和效率之間的權衡方面。傳統的GBDT實現需要對每個特徵掃描所有數據實例,以估計所有可能的分割點的信息增益。因此,它們的計算複雜度將與特徵數和實例數成正比。這使得這些實現在

原创 簡單線性迴歸模型的 Python 實現

本文以簡單的一元線性模型爲例,演示梯度下降法的基本實現流程。 一個一元線性模型的基本形式爲: y=wx+b y = w x + b y=wx

原创 梯度提升機(Gradient Boosting Machine)之 XGBoost

相對於隨機森林使用 bagging 融合完全長成決策樹,梯度提升決策樹使用的 boosting 的改進版本 AdaBoost 技術的廣義版本,也就是說是根據損失函數的梯度方向,所以叫做梯度提升(Gradient Boosting)

原创 主成分分析(Principal Components Analysis)

主成分分析PCA(Principal Component Analysis),作用是: 聚類 Clustering:把複雜的多維數據點,簡化成少量數據點,易於分簇 降維:降低高維數據,簡化計算,達到數據降維,壓縮,降噪的目的

原创 機器學習技法 之 線性判別分析(Linear Discriminat Analysis)

線性判別分析(Linear Discriminat Analysis) PCA找尋的投影向量力求找到使得特徵點方差較大(也就是說散的比較開),與PCA所找尋的投影向量不同,LAD所找尋的投影向量具有下面兩種特性: 映射後不同類數

原创 CMake 中文簡易手冊

最基本的項目是從源代碼文件構建的可執行文件。對於簡單的項目,只需要三行代碼。 cmake_minimum_required(VERSION 3.10) # set the project name project(Tutoria

原创 機器學習技法 之 支持向量迴歸(SVR)

核邏輯迴歸(Kernel Logistic Regression) SVM 和 Regularization 之間的聯繫 軟間隔支持向量機的原最優化問題爲: min⁡b,w,ξ12wTw+C⋅∑n=1Nξn s.t. yn(wTz

原创 機器學習技法 之 矩陣分解(Matrix Factorization)

線性神經網絡(Linear Network Hypothesis) 這裏用推薦系統的應用實例引出矩陣分解: 現在有一個電影評分預測問題,那麼數據集的組成爲: {(x~n=(n),yn=rnm): user n rated movi

原创 機器學習技法 之 終章(Final)

特徵轉換的技巧(Feature Exploitation Techniques) 核技巧(Kernel) 對於數值特徵,使用一些映射函數 Φ\PhiΦ,將想要的特徵轉換嵌入進 kernel 運算裏面,在 kernel 運算裏面就包

原创 臺大林軒田機器學習課程筆記前言

正確的判斷來自於經驗,而經驗來自於錯誤的判斷。— Frederick P. Brooks 本專欄爲機器學習筆記文件,參考資料有《林軒田機器學習基石&技法》《機器學習》《吳恩達機器學習課堂》《神經網絡與深度學習》《Sklearn

原创 北大 C++ 程序語言設計課程筆記前言

感謝郭煒老師和劉家瑛老師的詳細講解,非常適合基礎不紮實的同學學習,讓我真正入門 C++! 詳細筆記見本專欄的其他文章。視頻觀看可點擊:C++ 程序語言設計,如果有失效可以去中國大學MOOC(慕課) 搜索查找。