又結束了一段實習。
京東實習結束後，在實驗室憋了四個月，寫了一篇文字檢測的論文，然後又跑出去實習了。在實驗室的那幾個月還是收穫頗豐的，系統的瞭解了當前文字檢測的方法。沒有了進度的壓力，自己想學什麼就學什麼，對最新論文追着看了很多，對深度學習也有了更深刻的理解。後來面試阿里媽媽，能面到第五輪HR面，有一部分原因也是那幾個月對學習的東西進行了細緻的梳理。後來實習在滴滴做了一個多月的圖像算法，然後又轉去搜狗做了機器翻譯。折騰了挺久，對NLP，機器翻譯也算是粗淺的入門了。
研二上學期就一直在看論文、做實驗。自己其實也是挺想好好做研究、發論文的，奈何實驗室沒有科研氛圍，也沒人具體指導，這一點真的已經被自己和同學吐槽了無數次。怎麼研究，怎麼實驗，怎麼寫論文、講故事，都沒有人指導，更多的還是靠自己一點點摸索。在做文字檢測的實驗時，由於初期的多次實驗結果沒有達到預期的效果，反覆嘗試後，問題也沒得到解決，心態就有點崩。把檢測模型自己可改動的部分找出來，分成了四大部份：基礎網絡、損失函數、融合特徵的結構、額外輔助信息。隨意的改變其中某一部分，然後就期待着結果有沒有好轉。本質上是通過不同的組合方式，嘗試看哪種效果好一些。即使是效果有提升，創新程度也是很低。另一方面，這樣的方式能有改進的概率很低，最後的事實也充分驗證了這點：這樣嘗試了大半個月，結果都沒有提升。關於這一點，比較正確的處理方式還是在於：在多次實驗失敗後，還能夠保持一個較好的心態；失敗後認真的分析所存在問題，多次失敗後再做改變時，可能就是這種方式有問題，可以進行更大幅度的改變，不能太保守；在每一次實驗前，都應該對實驗有個清晰的設計以及理論上的支持，避免盲目的嘗試。
一月份把論文投出去後，就開始投簡歷再次找實習了。先是找了滴滴的圖像算法實習。滴滴離我們學校實在是太遠了，每次上班都得兩個小時，每天通勤時間四個小時，想想自己也是很拼了。在滴滴剛開始做的還是文本區域檢測，拿了一堆營業執照做檢測。後來覺得滴滴實習的內容和京東實習的內容重合度實在是太高了，沒什麼新的東西，所以就辭了，轉去搜狗做機器翻譯。
爲什麼要做機器翻譯呢？首先也是自己沒找到BAT的圖像實習，如果能找到的話，肯定繼續研究圖像了。其次之前一直在做圖像，對其他領域也沒有過多的瞭解過。看論文時，也發覺不同領域之間的相互借鑑越來越普遍，所以想深入的瞭解下其他領域的知識。在搜狗帶我的mentor也是一個實習生（當然，這點他自己從沒說過→_→），是計算所的機器翻譯博士。從二月一直做到了六月初，做了四個多月時間。剛開始沒有什麼機器翻譯的基礎知識，mentor給了我幾篇論文，還有DL4MT的代碼，除去過年放假的時間，大概看了一個多星期時間吧。過完年後回來就是三月份了，雖然沒有達到mentor的預期瞭解程度，但還是開始看實際的工程代碼了。搜狗的機器翻譯模型用的就是谷歌開源的Transformer模型，這也是目前業內現在用的最多的一個模型。我負責的主要是一個探索研究性質的任務：基於transformer模型，預測中譯英中，英文單詞大小寫信息。這個研究點其實挺小，但是對於初入門的我應該是足夠了。整個transformer模型的代碼量不小，先是在小的數據集上跑通，然後看了大概一個多星期的時間，結合着論文，大致理清了模型的邏輯和框架。這點自己還是挺開心的，以小白的狀態，能這麼快的速度看完、看懂。看完了代碼就開始着手改代碼，實現預測大小寫。看懂之後，代碼很好改，兩三天時間吧。不過即使這樣，還是踩了不少坑，特別是在beam search 解碼預測的時候，犯了幾次錯誤。剛開始先是在10W條數據上訓練測試，感覺還行之後，就開始在700W條數據訓練。在不加BPE處理的方式下，自己的這個預測方式對翻譯的提升還是挺明顯的。BPE有效的解決了UNK的問題，用BPE處理訓練數據後，自己的預測方式提升就沒什麼效果，四月份一整個月的時間都是在嘗試用不同的方式來在ＢＰＥ 的方式下提升譯文質量和大小寫預測的精度。可惜的是，沒什麼實質性的進展。其實在這個時候，基本上就已經選宣判在BPE處理下，預測大小寫對譯文質量不會有實質上的提升。Mentor還是想讓我繼續嘗試，看有沒有其他好的解決方案。當然，嘗試的方案還有很多，畢竟可改的點很多，但是改過之後的效果怎麼樣自己也是不知道的。再一次的感受到了深度學習的玄學性。之後就又探索了半個月。五月中旬，之前投的論文沒中，於是請了兩個星期假回實驗室改論文。再回公司的時候就已經不怎麼想實習了，因爲大小寫預測這個問題都已經做了這麼長時間了，還沒有提升。一方面是自己覺得付出與收穫不對等，另一方面覺得這個小問題不值得花費這麼長時間來研究，何況一直沒改進，時間投入像是無底洞，有點厭倦了。後來mentor又讓做了預測漢語分詞，花費時間不多，就一個星期時間，也沒什麼實際效果（準確的來說是沒有合適的測試集能評判這種方法的效果）。直到六月初離職，自己實習期間，能拿的出手的成果就是大寫小預測。後來也整理了整理數據，寫了一箇中文論文，投了個會議，但願能中吧。回想這段實習經歷，在最初的兩個月時間裏，自己學習到的東西是最多的。之前一張白紙，什麼都不會，意識到要學的東西很多，很有學習的熱情，進步最快。到四月下旬的時候，實際上自己就已經停止進步了，進入了停滯、倦怠期。實驗結果一直沒改進，Mentor還不給其他任務，一直在實現他突發奇想的改進嘗試點。理智上來講，這個時候自己就應該離職退出。也是自己覺得壓力不太大，貪於安逸沒有做出改變。之前來搜狗實習很大原因也是因爲看新聞報道，這個團隊得了2017年WMT英漢互譯的冠軍，所以想來這邊學習學習。以現在來看的話，實際上自己做的是探索研究性質的工作，並不牽涉到業務，也沒學習到他們最優的點，略有失望。最大的收穫就是對機器翻譯有了很深的瞭解，對transformer這一主流模型有了很好的掌握，attention機制也有了新的理解。單靠這一點，秋招拿份機器翻譯的offer應該沒什麼問題。
囉囉嗦嗦的寫了一大堆流水賬，也是mark下自己的經歷吧。看之前那篇總結自己列的計劃，沒幾個實現的，看來自己並不是那種執行能力很強的人。這次就不列計劃了。接下來就要秋招了，這兩個月就在實驗室好好再沉澱。再聯繫聯繫老師，看有願意收我做博士的沒。恩，大致就這樣。