原创 變量更新和控制依賴
變量更新 到目前爲止，我們已經將變量專門用於我們模型中的一些權重，這些權重將根據優化器的操作進行更新操作（如：Adam）。但是優化器並不是更新變量的唯一方法，還有別的一整套更高級的函數可以完成這個操作（你將再次看到，這些更高級的函數將
2020-06-24 03:01:40
原创 tensorflow的運行流程與核心關鍵概念含義介紹
1.tensorflow的運行流程 tensorflow的運行流程主要有2步，分別是構造模型和訓練。 在構造模型階段，我們需要構建一個圖(Graph)來描述我們的模型。所謂圖，也可以理解爲流程圖，就是將數據的輸入->中間處理->輸出
2020-06-24 03:01:40
原创 TensorFlow中的tf.nn.softmax_cross_entropy_with_logits 交叉熵 損失函數
交叉熵 交叉熵可在神經網絡(機器學習)中作爲損失函數，p表示真實標記的分佈，q則爲訓練後的模型的預測標記分佈，交叉熵損失函數可以衡量p與q的相似性。交叉熵作爲損失函數還有一個好處是使用sigmoid函數在梯度下降時能避免均方誤差損失函
2020-06-24 03:01:40
原创 Tushare社區介紹推廣
本文介紹使用python從Tushare下載數據並存儲到csv文件和mssql數據庫中。 Tushare簡介 Tushare金融大數據開放社區，免費提供各類金融數據和區塊鏈數據,助力智能投資與創新型投資。網址：https://tushar
2020-04-24 14:21:29
3
原创 XGBoost解決多分類問題
XGBoost解決多分類問題 寫在前面的話 XGBoost官方給的二分類問題的例子是區別蘑菇有無毒，數據集和代碼都可以在xgboost中的demo文件夾對應找到，我是用的Anaconda安裝的XGBoost，實現起來比較容易
2020-02-21 03:30:30
1
原创 信用模型中對於類別變量的編碼方式：dummy編碼和WOE編碼
最常見的用於信用評分的模型就是logistic迴歸，這是一種處理二分類因變量的廣義線性模型。這種模型的理論基礎比較紮實，但是對於不同的問題當然也存在一些特殊的處理方式，我最大的困惑就在於建模時對分類自變量的處理方法。 由於製作評分卡的
2020-02-21 03:30:30
原创 tensorflow各版本間踩過的坑
問題一：TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead. tensorflow 函數tf.cocat([fw,bw],
2020-02-21 03:30:30
1
原创 TensorFlow的 數據和參數的輸入 及變量存儲
假如我想使用一個空的tensor呢？這就需要用到tf.placeholder() 和 feed_dict 。 tf.placeholder() 在TensorFlow（後文簡稱TF）中，數據並不會保存爲 integer, floa
2020-02-21 03:30:30
原创 ROC AUC的原理詳解
ROC（Receiver Operating Characteristic）曲線和AUC常被用來評價一個二值分類器（binary classifier）的優劣，對兩者的簡單介紹見這裏。這篇博文簡單介紹ROC和AUC的特點，以及更爲深入地
2020-02-21 03:30:30
原创 先驗概率與後驗概率、貝葉斯區別與聯繫
先驗概率和後驗概率 教科書上的解釋總是太繞了。其實舉個例子大家就明白這兩個東西了。 假設我們出門堵車的可能因素有兩個（就是假設而已，別當真）：車輛太多和交通事故。 堵車的概率就是先驗概率 。 那麼如果我們出門之前我們聽到新聞說今天路上出了
2020-02-21 03:30:30
原创 tf.train中的Optimizer相關的函數與功能介紹
摘要：本系列主要對tf的一些常用概念與方法進行描述。本文主要針對tensorflow的模型訓練Training與測試Testing等相關函數進行講解。爲‘Tensorflow一些常用基本概念與函數’系列之四。 1、序言 本文所講
2020-02-21 03:30:30
4
原创 如何用 TensorFlow 實現基於 LSTM 的文本分類
引言 學習一段時間的tensor flow之後，想找個項目試試手，然後想起了之前在看Theano教程中的一個文本分類的實例，這個星期就用tensorflow實現了一下，感覺和之前使用的theano還是有很大的區別，有必要總結mark一
2020-02-21 03:30:30
原创 Flink Window分析及Watermark解決亂序數據機制深入剖析-Flink牛刀小試
轉發https://blog.csdn.net/shenshouniu/article/details/84455619： 1 The Time 針對stream數據中的時間，可以分爲以下三種： Event Time：事件產生的時間，它通
2020-02-21 03:30:30
1
原创 tensorflow中optimizer如何實現神經網絡的權重，偏移等係數的更新和梯度計算
案例代碼： #建立抽象模型 x = tf.placeholder(tf.float32, [None, 784]) y = tf.placeholder(tf.float32, [None, 10]) #實際分佈的概率值 w = tf
2020-02-21 03:30:30
1
原创 整理spark中的job stage task幾個概念以及運行案例
Job ： 是一個比task 和 stage 更大的邏輯概念，job 可以認爲是我們在driver 或是通過spark-submit 提交的程序中一個action ，在我們的程序中有很多action 所有也就對應很多的jobs
2020-02-21 03:30:30