台部落高文星星

xgb特徵重要性評估有哪些（1） weight：使用特徵在所有樹中作爲劃分屬性的次數默認（2）gain：使用特徵在作爲劃分屬性時loss平均的降低量（3）cover：使用特徵作爲劃分屬性時對樣本的覆蓋度

2021-09-01 14:09:11

目錄多模態學習筆記多模態融合的方法簡單操作注意力機制融合多模態學習筆記多模態-不同形式的數據融合在一起訓練模型：文本，圖像，語音，視頻，雷達，紅外等。換句話說每一種信息的形態都是一種模態。多模態融合的方法多模態融合是多模態研究中非

2021-09-01 14:09:11

目錄再議樣本不均衡問題再議樣本不均衡問題參考【知乎Yuzhe Yang】其實真實的業務場景中，特別是風控場景和還有退費場景重採樣（re-sampling）：這是解決數據類別不平衡的非常簡單而暴力的方法，更具體可以分爲兩種，對少

2021-08-27 14:08:25

RMF分析法定義最近一次消費時間間隔（R）：是指用戶最近一次消費距離現在的時間，最近一次消費時間間隔（R），上一次消費離得越近，也就是R的值越小，用戶價值越高。消費頻率（F）：是指用戶一段時間內消費了多少次，購買頻率越高，也就是

2021-08-21 14:09:58

小樣本學習參考《小樣本學習及其在美團場景中的應用》其實感覺這篇文章更多的是將小樣本進行數據增強，擴充到一定量級之後變成大樣本再訓練模型，所以模型好壞要看數據增強的效果。筆者個人感覺還差點意思。短時間難落地～

2021-08-20 14:08:25

極大似然估計vs最小二乘法最大似然估計：現在已經拿到了很多個樣本（你的數據集中所有因變量），這些樣本值已經實現，最大似然估計就是去找到那個（組）參數估計值，使得前面已經實現的樣本值發生概率最大。因爲你手頭上的樣本已經實現了，其發生概率最

2021-07-27 14:08:24

白蛇傳2:《青蛇劫起》觀後感主角：小青從筆者個人看下來，得到的感受是感覺編劇沒有把故事講完整～特效滿分劇情有待提升執念：有些疼痛是因爲執念太深～但是放棄執念那一刻又有非常多的不甘心，於是乎就有了糾結。劫起之日，投身之時！我青姐

2021-07-27 14:08:24

「人活着就是在對抗熵增定律，生命以負熵爲生。」 https://zhuanlan.zhihu.com/p/72896309 準備好熵減了嘛？

2021-07-27 14:08:24

bert中的其他特殊編碼爲什麼要其他的特殊編碼呢？首先回顧下cls是做什麼的： [CLS]單文本分類任務：對於文本分類任務，BERT模型在文本前插入一個[CLS]符號，並將該符號對應的輸出向量作爲整篇文本的語義表示，用於文本分類。可

2021-07-14 11:56:43

bert三種pooling策略對比 notes：因爲基本上沒有用過原生的bert做過句向量，所以別人冷不丁一問起，筆者頓時三臉懵逼 Sentence-BERT在BERT/RoBERTa的輸出結果上增加了一個pooling操作，從而生成一個

2021-07-14 11:56:43

雙塔模型雙塔模型顧名思義是有2個塔，兩個塔分別的作用是什麼呢？感覺只是名詞上面的創新～有電話西瓜書團隊的操作做句向量的文本相似度的雙塔模型主要通過對兩段文本進行編碼爲固定長度的向量，然後通過兩個向量間進行計算相似度來計算兩段文本之

2021-07-14 11:56:43

聯邦學習聯邦學習顧名思義，有“聯”有“邦”，既然是“學習”那肯定離不開ai 而ai是靠數據來喂的，但是數據這個東西不是每個公司都有的，小型創業公司一般會存在數據孤島。數據孤島：數據往往掌握在一些大型企業中，不進行共享，就是企業內部也會存

2021-07-07 14:08:32

simsaim筆記在對比學習中做了減法～完美的去掉了大batch size，負例，動量encoder這些操作。增加了stop gradient有效的防止了模型坍塌（就是模型收斂到一個固定的常數）大佬的思想就是這般簡單易懂！下面來好好

2021-07-07 14:08:32

筆者把兩篇論文放一起了，快速過下idea 第一篇：Bootstrap Your Own Latent A New Approach to Self-Supervised Learning 在講這篇論文之前，先從自監督訓練的崩塌問題開始說起

2021-07-02 14:08:25

孿生網絡學習筆記上一篇sentence-bert中筆者簡單的介紹了孿生網絡的概念，這篇主要嘮嘮。既然是孿生網絡，說明肯定是存在兩個相似的網絡結構？爲啥要使用孿生網絡？下面分析和對比學習一樣，孿生網絡概念最先也是在圖像中提出從圖1

2021-07-01 14:08:33