原创 Deep Learning:正則化(十)

Sparse Representations Weight decay acts by placing a penalty directly on the model parameters. Another strategy is

原创 Python基礎:序列

列表 、元組 字符串的共同點: (1)都可以通過索引得到每一個元素 (2)默認索引值總是從0開始 (3)可以通過分片的方法得到一個範圍內的元素的集合 (4)有很多共同的操作符(重複操作符*、拼接操作符、成員關係操作符)

原创 Python基礎:元組

元組:戴上了枷鎖的列表。列表可以任意修改其中的元素,非常靈活。而元組是不可以改變的。 由於和列表是近親關係,所以元組和列表在實際使用上是非常相似的。 創建和訪問元組 >>> tuple1 = (1, 2, 3, 4, 5, 6)

原创 Deep Learning:正則化(十三)

Adversarial Training In order to probe the level of understanding a network has of the underlying task, we can sear

原创 Deep Learning:Optimization for Training Deep Models(零)

Of all of the many optimization problems involved in deep learning, the most difficult is neural network training.

原创 Deep Learning:正則化(九)

Parameter Tying and Parameter Sharing Thus far, in this chapter, when we have discussed adding constraints or penal

原创 Deep Learning:正則化(十四)

Tangent Distance, Tangent Prop, and Manifold Tangent Classifier Many machine learning algorithms aim to overcome th

原创 Deep Learning:Optimization for Training Deep Models(一)

How Learning Differs from Pure Optimization Optimization algorithms used for training of deep models differ from tr

原创 Deep Learning:Optimization for Training Deep Models(二)

Challenges in Neural Network Optimization When training neural networks, we must confront the general non-convex ca

原创 Tensorflow實例:實現基於LSTM的語言模型

RNN 人每次思考時不會重頭開始,而是保留之前思考的一些結果爲現在的決策提供支持。例如我們對話時,我們會根據上下文的信息理解一句話的含義,而不是對每一句話重頭進行分析。傳統的神經網絡不能實現這個功能,這可能是其一大缺陷。例如卷積神

原创 Python機器學習應用-聚類之DBSCAN

DBSCAN密度聚類 DBSCAN算法是一種基於密度的聚類算法: 聚類的時候不需要預先指定簇的個數 最終的簇的個數不定 DBSCAN算法將數據點分爲三類: 核心點:在半徑Eps內含有超過MinPts數目的點。 邊界點:在半徑

原创 Python機器學習應用之監督學習-人體運動狀態信息評級

背景介紹 可穿戴式設備的流行,讓我們可以更便利地使用傳感器獲取人體的各項數據,甚至生理數據。 當傳感器採集到大量數據後,我們就可以通過對數據進行分析和建模,通過各項特徵的數值進行用戶狀態的判斷,根據用戶所處的狀態提供給用戶更加精

原创 Deep Learning:正則化(七)

Multi-Task Learning Multi-task learning (Caruana, 1993) is a way to improve generalization by pooling the examples

原创 Python基礎:字符串

字符串一旦定義,便很難修改。 >>> str1 = 'I love fisc.com' >>> str1 'I love fisc.com' >>> type(str1) <class 'str'> 切片操作: >>> str1

原创 Deep Learning:正則化(十二)

Dropout Dropout (Srivastava et al., 2014) provides a computationally inexpensive but powerful method of regularizin