原创 聯邦學習論文閱讀：Fair Resource Allocation in Federated Learning
arXiv上剛剛掛的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith組的，搜了一下主頁，居然是一個超級年輕的小姐姐~ 這篇文章
2019-06-10 23:51:51
28
原创 聯邦學習論文閱讀：Asynchronous Federated Optimization
這是UIUC的一篇剛剛掛在arXiv上的文章：Asynchronous Federated Optimization。 我對邊緣計算和異步算法不太瞭解，直觀的理解是作爲一個user，我上傳的梯度參數是延遲的，也就是說central
2019-06-10 23:51:51
10
原创 深度學習筆記 簡單神經網絡反向傳播的推導
最近手推了一下神經網絡梯度更新中的參數偏導，做一個筆記。 模型 我們考慮一個非常簡單的神經網絡，輸入embedding後只通過一個全連接層，然後就softmax輸出預測值 Created with Raphaël 2.2.0Inp
2019-05-29 19:43:00
原创 tensorflow筆記 協調器tf.train.Coordinator
原理 TensorFlow中有兩個函數管理Session中的多線程：Coordinator和 QueueRunner。 同一個Session中可以創建多個線程，但所有線程必須能被同步終止，異常必須能被正確捕獲並報告。當會話終止的時
2019-05-29 19:43:00
1
原创 推薦模型評價指標 AUC
推薦中常用的模型評價指標有準確率，召回率，F1-score和AUC。 1. 什麼是AUC AUC指標是一個[0,1]之間的實數，代表如果隨機挑選一個正樣本和一個負樣本，分類算法將這個正樣本排在負樣本前面的概率。值越大，表示分類算法
2019-05-29 19:42:50
1
原创 tensorflow筆記 string_input_producer, slice_input_producer
tensorflow將讀取數據分爲了兩個步驟，先讀入文件名隊列，再讀入內存隊列進行運算。爲了減少GPU的等待時間，提高計算速度，tensorflow使用兩個線程來分別處理這兩個步驟。tf有三個函數string_input_prod
2019-05-29 19:42:49
原创 tensorflow筆記 tf.metrics.accuracy
tf.metrics.accuracy用於計算模型輸出的準確率 tf.metrics.accuracy( labels, predictions, weights=None, metrics_col
2019-05-29 19:42:49
1
原创 python筆記 list和array
python中的list和array是常用兩種數據類型。list中的數據類不必相同的，而array中的類型必須全部相同。list中保存的是數據存放的地址，也就是指針。 import numpy as np import panda
2019-05-29 19:42:49
原创 python筆記 shuffle和permutation
函數shuffle與permutation都可以打亂數組元素順序，區別在shuffle直接在原來的數組上進行操作，而permutation不直接在原來的數組上進行操作，會返回一個新的打亂順序的數組。 import numpy as
2019-05-29 19:42:49
原创 jupyternotebook 撤銷刪除操作
方法一 先按esc進入命令模式，即左側線爲藍色（爲綠色時是編輯模式），按z鍵即可恢復 方法二 如果是運行過的代碼 直接運行 history 方法三 功能欄 edit -> undo delete cell
2019-05-10 15:30:51
原创 tensorflow筆記 tfrecord創建及讀取
之前很少仔細看tf的一些基礎api，只要能跑通就過了，最近打算花時間把部分基礎api整理一下，方便以後使用。 簡介 tfrecord是tensorflow訓練模型時比較常用的處理大量數據的格式。簡單來說，一種二進制數據儲存格式，比一次
2019-05-10 15:30:51
2
原创 數據處理 筆記
數據處理筆記 import pandas as pd #讀取數據 data = pd.read_csv(path, header=0) #head=0表示第一行取爲列名，head=-1表示列名爲空 #改列名 data.column
2019-05-06 10:41:48
原创 CSDN公式編輯
對常用latex公式編輯做一個備忘錄 大括號 x={ab×yc×z x =\left\{ \begin{aligned} ab & \times y \\ c & \times z \end{aligned} \r
2019-04-23 23:15:03
原创 講座筆記 Federated GBDT
新加坡國立大學Bingsheng He老師的講座，主要內容是如何更好構建GPU架構來加速訓練ML模型以及最近對聯邦學習的一些探索。 現在聯邦學習中保護用戶隱私的算法主要是兩類：一類是HE，但計算效率很低，另一類是DP，但會對模型準確率
2019-04-14 21:30:39
4
原创 元學習 meta-learning
總結一下元學習的概念 meta-learning主要是爲了解決冷啓動或者數據很少的情況，它的想法是學習到任務空間中的一個最優點，這個點與所有任務的最優解是最近的，也就是說學習到一個更好的泛化模型。本質上來說，meta-learning
2019-04-04 20:33:45