原创 BERT fintune 的藝術

BERT 預訓練模型就如宰好待烹的豬，則 finetune 便是烹飪之法，豬頭能用來做成香糯濃醇的燒豬頭肉，豬蹄能用來做成勁道十足的紅燒豬蹄，身上的梅花肉，五花肉，裏脊肉也各有各的做法。於是對於 Bert finetune，也就有各種料理

2019-04-17 15:11:27 15

原创 苦痛的教訓

作者：Rich Sutton 最近看了多篇文章，都有提到這篇 Sutton 寫的文章。就找來看看，而似乎也沒見人翻譯，就動手翻了下。Sutton 何人，有了解那本鼎鼎大名的教科書 Reinforcement Learning 的，估計都

2019-04-11 14:58:53 5

原创 理解L1，L2 範數在機器學習中應用

理解L1，L2 範數 L1，L2 範數即 L1-norm 和 L2-norm，自然，有L1、L2便也有L0、L3等等。因爲在機器學習領域，L1 和 L2 範數應用比較多，比如作爲正則項在迴歸中的使用 Lasso Regression(L1)

2019-03-07 13:04:42 6586

原创 自然語言處理領域閱讀指南

譯自 Munro, Robert 像每個工程領域，自然語言處理（NLP）既有接受率約爲20％或者更低的頂級會議，也有每篇論文都接受的地方。 這也就意味着這裏有很多低質量論文。 然而除了 Quora 的 NLP 模塊有提到，我在網上並沒

2018-12-03 13:44:50 4

原创 NLU 不是 NLP++

譯自 Walid Saba 隨着自然語言處理中各個榜被不斷刷新，所謂的“超越人類“也已實現。人們感到的是什麼，是滿足嗎？是得意嗎？從此以後就可以安逸了嗎？ 並沒有，人們反而發現，這些所謂“超越人類“的模型，可能一點都沒有理解人類的語言。像

2018-11-28 13:21:17 7

原创 聖經分享會筆記 1：聖經與其中的精意

首先，神是自隱的。沒有人親眼見過神，即使是曾經離神最近的摩西，也只是蒙着臉與神進行過對話。 爲什麼神是自隱的，不能讓人看到自己呢？ 按照熙臨的說法，神是純潔的，而人是有原罪的，即不純的。當純潔的神與不純的人太接近，人是會死掉的（自慚形愧而

2018-11-08 06:42:55

原创 “AI落後國“日本的困局

自2013年深度學習擡頭，數年過去，如今大多企業也都開啓自己的 AI 項目，爭取將自家產品和服務也 AI+，更別提大量的 AI 創業公司。此外，還有大量人才涌入，在日本時問學院的新生，要學啥，十有八九答機器學習。而國內更甚，聽

2018-11-01 06:42:58 4

原创 爲什麼我們現在會對機器學習感興趣？

這是 MIT 出版社 Essential Knowledge 系列中《Machine Learning: The New AI》的第一章。 當初讀很有啓發，最近開始重新學 ML，便用空閒時間翻譯過來。 這篇最有意思的兩點。第一，從計算機發

2018-10-15 06:41:49 1

原创 一齣兒戲：構思巧妙，力道不足

爲宣傳作爲導演的處女作，黃渤可謂是拼，這段時間都快成勞模了。在各個綜藝節目上都能看到他的身影（101，嚮往生活，極限挑戰...），鑑於他圈內良好的聲望，大家也都很願幫他捧場。 我個人也挺喜歡黃渤，從電視劇《生存之民工》到電影《

2018-10-10 06:44:09 1

原创 Transformer (變形金剛，大霧) 三部曲：RNN 的繼承者

講講最近深度學習裏面的後期之秀吧，Transformer（和變形金剛沒有半毛錢關係） 話說自公元二零一三年，深度學習網絡一枝獨秀，自機器學習王國脫穎而出，帶動了人工智能領域的發展。其中它最主要的兩大家，卷積網絡（CNN）和循環

2018-10-10 06:44:09

原创 《書讀完惹》書單：讓我們一起三冬，文史足矣

很早就有金克木先生的文集《書讀完了》，題目很吸引人，但卻一直沒機會讀。直到前段時間，在昆明文化巷的大象書店逛時，偶爾看見，便隨意翻了兩頁（書非借不能讀也？）。 �� 一讀開頭陳寅恪先生那件軼事，就有點放不下來了。更精彩的是當他談

2018-10-10 06:44:09 3

原创 刷刷刷搞定五十音：日語入門第一步

很早就有朋友問我怎麼學日語，特別因爲五十音的原因，很多人被卡在了第一步，也就是花了一萬年還在背五十音。但如我之前在《自然語言處理之路：前提——英文能力》中說的，學習一個語言中需要死記硬背的，應該在最短時間一把拿下，之後在使用中

2018-10-10 06:44:09 3

原创 讀書筆記 | 科學迷宮裏的頑童與大師 : 赫伯特·西蒙自傳

不知是知識付費興起的原因，還是其他原因，最近很多文藝復興人開始被提起，諸如達芬奇，富蘭克林，巴菲特的好基友芒格，還有今天要說到的這本自傳的作者，赫伯特西蒙（司馬賀）。 何爲文藝復興人，便是那種對很多事物都感興趣，勇於自我學習，

2018-10-10 06:43:21 7

原创 讀書筆記：舊約——創世紀(Genesis)

這是《書讀完了》讀書會，大家讀的第一本書《聖經》。因爲歐美文化很多都奠基在聖經之上，就連伊斯蘭教也受其影響頗深。 先是舊約第一章，創世紀。可以把整個篇章看做是一條主線，加上各種各樣支線小故事的結構。 主線劇情 創世紀主線便是神創世界，亞當夏

2018-10-10 06:43:21 1

原创 自然語言處理之路：方法——深度學習基礎

一個自然語言處理煉丹師的自白 往期： 自然語言處理之路：前提——英文 自然語言處理之路：前提——數學 自然語言處理之路：前提——語言學 自然語言處理之路：工具——七種兵器 自然語言處理之路：方法——機器學習基礎 深度學習現

2018-10-10 06:43:21