原创 IRT模型進行能力值估計

  IRT模型的公式如下:   參數解釋: D 常數,1.702 θ 測試學生的能力值(即需要求解的參數) pi(θ) 測試學生做對該題目的概率,i:第幾題 bi 題目的難度,i:第幾題   我們最終目的

原创 Tensorflow2.0之dataset讀取csv及tfrecord文件(第四節)

本章節的主要內容是csv文件的讀入(寫入直接用pandas即可),tfrecords文件的寫入及讀取(讀入是解析成可以訓練的數組形式) csv文件讀入 list_files = ['a.csv','b.csv','c.csv

原创 Tensorflow2 RNN模型imdb電影評分預測和Character-level language model

import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline import numpy as np import pandas as pd

原创 神經網絡反向傳播梯度推導及代碼實現

一. 梯度推導  本例中使用的激活函數爲g(x)=sigmoid函數,損失函數使用的爲邏輯迴歸的損失函數。 方便公式簡便,只有一個樣本進行偏導計算,假設network共L層。使用 "" 表示向量乘積運算符, python中的numpy.m

原创 邏輯迴歸進行多分類進行手寫識別(ex3)

  思路 X(5000,401) 5000個樣本,400特徵+1偏置項 y(5000,1) 5000個樣本對應的標籤,即5000個樣本對應的數字 多分類的目的是隨機輸入一個樣本,能夠識別這個樣本是數字幾。因爲邏輯迴歸是二分類任

原创 無監督學習-K-means算法對圖片壓縮

K-means算法是無監督的聚類算法,是將一個未標記的數據集聚類成不同的組 實現步驟如下 1.根據數據集隨機選擇K個點作爲聚類中心 (cluster centroids) 2.對於數據集中的每一個數據,找出與各個聚類中心的距離最

原创 線性迴歸的正則化實例及模型判定

吳恩達正則化課程的課後作業python實現   from scipy.io import loadmat import pandas as pd import matplotlib.pyplot as plt import numpy

原创 python寫項目時的logging日誌

  簡單的輸出,用於快捷操作 import logging import time # filemode="a" ,才能在文件末尾追加 # 在循環中,logging 相對於 open(file,'w').write的優點:不需要等

原创 sklearn中精確率、召回率及F1值得micro,macro及weighted算法

爲什麼要用精確率和召回率 有這樣一個訓練集,1000個人參加了結直腸癌CRC的檢測,實際有0.5%的人得了CRC(即5個人)。用神經網絡算法得到檢測這樣一個訓練集能達到99%的準確率。從數值上判斷該算法是不錯的,因爲只有1%的誤差

原创 Tensorflow2.0 feature_columns ,交叉特徵,estimator,tf1.0實戰(第五節)

5-8以前爲tensorflow2.0 ,5-8以後爲tensorflow1.0 什麼是交叉熵? 交叉熵:跟信息熵類似,值越小越好,−∑i=1mp(xi)logq(xi)-\sum_{i=1}^m{p(x_i)}{logq(x_

原创 邏輯迴歸之參數訓練、模型驗證

training data的參數訓練 使用唐宇迪課程的數據集,代碼思路 import pandas as pd import numpy as np import matplotlib.pyplot as plt import math

原创 1. Vue+restframe安裝及通過python插入數據

Vue安裝 nodejs官網下載最新的版本,舊的可能不能用,用的v10.15.0沒問題 Cnpm 安裝教程 http://npm.taobao.org/     npm是包管理器,但是npm下載包速度慢,cnpm快,所以更多使用cnpm

原创 Scala 慕課網筆記

for循環 val l = List("Tom", "Bob123", "WangMeng") //> l : List[String] = List(Tom, Bob123, WangMeng) for {

原创 1 前5章

序列化 在goods/views.py文件中 from .serializers import GoodsSerializer from rest_framework.views import APIView from rest_fra

原创 決策樹簡述-西瓜書筆記

泛化能力:機器學習對於沒有見過的樣本的識別能力 欠擬合:模型複雜度偏低,在訓練和驗證時的效果都不好 過擬合:模型複雜度偏高,模型在訓練時效果很好,但是預測時效果很差,也就是對數據學習過度 數據集 決策樹  是一種用於分類的機器學習算法