原创 手工編寫繼承keras.utils.Sequence類的圖像生成器用於圖像迴歸

之所以要手動編寫數據生成器是因爲我做的工作是圖像迴歸,而不是圖像分類。也就是說作爲監督學習的標籤是連續型變量而不是離散型變量,而據我所知keras自帶的ImageDataGenerator類只能用於圖像分類。網上已有不少自己寫的數據生成器

原创 手工編寫繼承keras.utils.Sequence類的圖像生成器

之所以要手動編寫數據生成器是因爲我做的工作是圖像迴歸,而不是圖像分類。也就是說作爲監督學習的標籤是連續型變量而不是離散型變量,而據我所知keras自帶的ImageDataGenerator類只能用於圖像分類。網上已有不少自己寫的數據生成器

原创 Keras版VGG11識別MNIST手寫數字

VGG對硬件要求較AlexNet高,一般CPU跑起來很慢,最好用GPU。 首先引入相關庫 from tensorflow.keras.models import Sequential, Model from tensorflow.ker

原创 Pandas時間序列差分後恢復成原始序列

目的 在時序分析時,我們經常需要將原始序列進行差分,然後做出擬合或者預測,最後還需要將擬合的或者預測的值恢復成原始序列。這裏,使用Pandas的Series中的diff和cumsum函數可以方便的實現。 一次一階差分的恢復   impo

原创 巧用DataFrame布爾索引的方法刪除特定行或列

對於pandas DataFrame對象通常用“df.drop()”方法或關鍵字del刪去行或列,但drop和del操作都必須先要知道想刪除的確切列名或索引。如果只知道想要刪去符合某個條件的行或列,必須先把這些行列的索引號找出來放到一個列

原创 Pandas DataFrame對象索引及常見錯誤寫法

Python語言Pandas庫的DataFrames數據類型的索引寫法比較多,既提供了方便也容易出錯。一般的Python書籍上對Pandas索引都有介紹,本文總結一些個人體會,大體分爲用中括號索引和用loc/iloc[]索引。 先生成一個

原创 機器學習和統計學的區別

機器學習跟統計學有很多聯繫,的確這兩個專業有很多共性,但本文嘗試列舉一些差異,供大家參考和對比,也歡迎大家補充。   機器學習 統計學 百度百科的定義 機器學習是一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、算法複雜度理論等多門

原创 求解迴歸模型的最小二乘法(代數方法和數值方法)

對於迴歸模型,最小二乘法是通過最小化殘差平方和來估計迴歸係數的方法。殘差平方和就是預測值跟樣本之間的差的平方和,殘差平方和除以樣本量n就是均方誤差,即通常所說的損失函數。迴歸模型的損失函數不宜直接用殘差平方和而要用均方誤差是因爲殘差平方和