原创 c 正則

#include <stdio.h> #include <string.h> #include <regex.h> #define SUBSLEN 10 /* 匹配子串的數量 */ #define EBUFL

2020-06-20 18:42:21

原创 加權交叉熵損失函數：tf.nn.weighted_cross_entropy_with_logits

tf.nn.weighted_cross_entropy_with_logits函數 tf.nn.weighted_cross_entropy_with_logits(     targets,     logits,     pos_

2020-06-20 18:42:21 14

原创 個性化推薦綜述

注：由於人個技術水平有限，文中的技術及原理也都只是點到爲止，文中的難免會有很多疏漏甚至錯誤，請大家指正（本文會陸續更新），同時有一些理論是參考各個牛人的研究成果，這裏只是做以引用。   個性化推薦的本質是幫助用戶找到自己感興趣的物品，這裏

2020-06-20 17:42:18 2

原创 Attention 總結

1.self attention  Self attention 在NLP中有很多的應用，對於它的作用，個人覺得是通過attention score，能夠區分出文本的不同部分對最終的任務有不同的重要性，比如，對於文本的分類任務，不同的字

2020-06-20 17:42:18 2

原创 GPT對比GPT-2

前一陣子Bert火的一塌糊塗，本以爲會佔據頂峯很長一段時間，結果還沒多久就出現的了GPT-2，它不僅效果顯著，而且還解決了Bert無法解決的生成文本的問題，一下子躍上神壇~ 其實，GPT-2與GPT一樣，都使用的是單向語言模型，那爲何GP

2020-06-20 16:35:49 16

原创 keras bilstm 序列標註

from random import random from numpy import array from numpy import cumsum from keras.models import Sequential from ke

2020-06-08 12:20:14

原创 CRF 以及 BiLSTM上的CRF

0. 最通俗易懂的BiLSTM-CRF模型中的CRF層介紹（排版不好，不如1，2） 【1】. 通俗易懂！BiLSTM上的CRF，用命名實體識別任務來解釋CRF（一）   原文 特徵函數僅僅依靠當前單詞的標籤和它前面的單詞的標籤對標註序列進

2020-04-13 22:55:04

原创 從GBDT到XGBoost

gbdt -> xgboost ppt 原始論文 ： XGBoost: A Scalable Tree Boosting System 論文對應的中文版原理介紹：Boosted Tree xgboost導讀和實戰 速度快效果好的boost

2020-04-13 22:55:04 14

原创 Bert albert xlnet gtp

《GPT,GPT2,Bert,Transformer-XL,XLNet論文閱讀速遞》 Bert缺點 Bert的自編碼語言模型也有對應的缺點，就是XLNet在文中指出的，第一個預訓練階段因爲採取引入[Mask]標記來Mask掉部分單詞的訓練

2020-04-13 22:55:04

原创 Facenet Triplet Loss

Triplet Loss 在人臉識別中，Triplet loss被用來進行人臉嵌入的訓練。如果你對triplet loss很陌生，可以看一下吳恩達關於這一塊的課程。Triplet loss實現起來並不容易，特別是想要將它加到tensorf

2020-04-02 14:25:03 8

原创 完全圖解GPT-2：看完這篇就夠了（二）

在本系列文章的第一部分中，我們回顧了 Transformer 的基本工作原理，初步瞭解了 GPT-2 的內部結構。在本文中，我們將詳細介紹 GPT-2 所使用的自注意力機制，並分享只包含解碼器的 transformer 模型的精彩應用。

2020-03-30 00:05:20

原创 Keras實現Self-Attention文本分類

一、Self-Attention概念詳解   Self-Attention詳解 瞭解了模型大致原理，我們可以詳細的看一下究竟Self-Attention結構是怎樣的。其基本結構如下 對於self-attention來講，Q(Query)

2020-03-30 00:05:20

原创 完全圖解GPT-2：看完這篇就夠了（一）

在過去的一年中，BERT、Transformer XL、XLNet 等大型自然語言處理模型輪番在各大自然語言處理任務排行榜上刷新最佳紀錄，可謂你方唱罷我登場。其中，GPT-2 由於其穩定、優異的性能吸引了業界的關注 https://zhu

2020-03-30 00:05:20 7

原创 詳解sigmoid與softmax， 多分類及多標籤分類

https://blog.csdn.net/uncle_ll/article/details/82778750#_194 https://blog.csdn.net/leon_wzm/article/details/77650374 使用

2020-03-27 11:27:36 58

原创 52 個深度學習目標檢測模型彙總，論文、源碼一應俱全！

目標檢測作爲計算機視覺中的一個重要分支，近些年來隨着神經網絡理論研究的深入和硬件 GPU 算力的大幅度提升，一舉成爲全球人工智能研究的熱點，落地項目也最先開始。 縱觀 2013 年到 2020 年，從最早的 R-CNN、OverFeat

2020-03-27 11:27:36