又结束了一段实习。
京东实习结束后，在实验室憋了四个月，写了一篇文字检测的论文，然后又跑出去实习了。在实验室的那几个月还是收获颇丰的，系统的了解了当前文字检测的方法。没有了进度的压力，自己想学什么就学什么，对最新论文追着看了很多，对深度学习也有了更深刻的理解。后来面试阿里妈妈，能面到第五轮HR面，有一部分原因也是那几个月对学习的东西进行了细致的梳理。后来实习在滴滴做了一个多月的图像算法，然后又转去搜狗做了机器翻译。折腾了挺久，对NLP，机器翻译也算是粗浅的入门了。
研二上学期就一直在看论文、做实验。自己其实也是挺想好好做研究、发论文的，奈何实验室没有科研氛围，也没人具体指导，这一点真的已经被自己和同学吐槽了无数次。怎么研究，怎么实验，怎么写论文、讲故事，都没有人指导，更多的还是靠自己一点点摸索。在做文字检测的实验时，由于初期的多次实验结果没有达到预期的效果，反复尝试后，问题也没得到解决，心态就有点崩。把检测模型自己可改动的部分找出来，分成了四大部份：基础网络、损失函数、融合特征的结构、额外辅助信息。随意的改变其中某一部分，然后就期待着结果有没有好转。本质上是通过不同的组合方式，尝试看哪种效果好一些。即使是效果有提升，创新程度也是很低。另一方面，这样的方式能有改进的概率很低，最后的事实也充分验证了这点：这样尝试了大半个月，结果都没有提升。关于这一点，比较正确的处理方式还是在于：在多次实验失败后，还能够保持一个较好的心态；失败后认真的分析所存在问题，多次失败后再做改变时，可能就是这种方式有问题，可以进行更大幅度的改变，不能太保守；在每一次实验前，都应该对实验有个清晰的设计以及理论上的支持，避免盲目的尝试。
一月份把论文投出去后，就开始投简历再次找实习了。先是找了滴滴的图像算法实习。滴滴离我们学校实在是太远了，每次上班都得两个小时，每天通勤时间四个小时，想想自己也是很拼了。在滴滴刚开始做的还是文本区域检测，拿了一堆营业执照做检测。后来觉得滴滴实习的内容和京东实习的内容重合度实在是太高了，没什么新的东西，所以就辞了，转去搜狗做机器翻译。
为什么要做机器翻译呢？首先也是自己没找到BAT的图像实习，如果能找到的话，肯定继续研究图像了。其次之前一直在做图像，对其他领域也没有过多的了解过。看论文时，也发觉不同领域之间的相互借鉴越来越普遍，所以想深入的了解下其他领域的知识。在搜狗带我的mentor也是一个实习生（当然，这点他自己从没说过→_→），是计算所的机器翻译博士。从二月一直做到了六月初，做了四个多月时间。刚开始没有什么机器翻译的基础知识，mentor给了我几篇论文，还有DL4MT的代码，除去过年放假的时间，大概看了一个多星期时间吧。过完年后回来就是三月份了，虽然没有达到mentor的预期了解程度，但还是开始看实际的工程代码了。搜狗的机器翻译模型用的就是谷歌开源的Transformer模型，这也是目前业内现在用的最多的一个模型。我负责的主要是一个探索研究性质的任务：基于transformer模型，预测中译英中，英文单词大小写信息。这个研究点其实挺小，但是对于初入门的我应该是足够了。整个transformer模型的代码量不小，先是在小的数据集上跑通，然后看了大概一个多星期的时间，结合着论文，大致理清了模型的逻辑和框架。这点自己还是挺开心的，以小白的状态，能这么快的速度看完、看懂。看完了代码就开始着手改代码，实现预测大小写。看懂之后，代码很好改，两三天时间吧。不过即使这样，还是踩了不少坑，特别是在beam search 解码预测的时候，犯了几次错误。刚开始先是在10W条数据上训练测试，感觉还行之后，就开始在700W条数据训练。在不加BPE处理的方式下，自己的这个预测方式对翻译的提升还是挺明显的。BPE有效的解决了UNK的问题，用BPE处理训练数据后，自己的预测方式提升就没什么效果，四月份一整个月的时间都是在尝试用不同的方式来在ＢＰＥ 的方式下提升译文质量和大小写预测的精度。可惜的是，没什么实质性的进展。其实在这个时候，基本上就已经选宣判在BPE处理下，预测大小写对译文质量不会有实质上的提升。Mentor还是想让我继续尝试，看有没有其他好的解决方案。当然，尝试的方案还有很多，毕竟可改的点很多，但是改过之后的效果怎么样自己也是不知道的。再一次的感受到了深度学习的玄学性。之后就又探索了半个月。五月中旬，之前投的论文没中，于是请了两个星期假回实验室改论文。再回公司的时候就已经不怎么想实习了，因为大小写预测这个问题都已经做了这么长时间了，还没有提升。一方面是自己觉得付出与收获不对等，另一方面觉得这个小问题不值得花费这么长时间来研究，何况一直没改进，时间投入像是无底洞，有点厌倦了。后来mentor又让做了预测汉语分词，花费时间不多，就一个星期时间，也没什么实际效果（准确的来说是没有合适的测试集能评判这种方法的效果）。直到六月初离职，自己实习期间，能拿的出手的成果就是大写小预测。后来也整理了整理数据，写了一个中文论文，投了个会议，但愿能中吧。回想这段实习经历，在最初的两个月时间里，自己学习到的东西是最多的。之前一张白纸，什么都不会，意识到要学的东西很多，很有学习的热情，进步最快。到四月下旬的时候，实际上自己就已经停止进步了，进入了停滞、倦怠期。实验结果一直没改进，Mentor还不给其他任务，一直在实现他突发奇想的改进尝试点。理智上来讲，这个时候自己就应该离职退出。也是自己觉得压力不太大，贪于安逸没有做出改变。之前来搜狗实习很大原因也是因为看新闻报道，这个团队得了2017年WMT英汉互译的冠军，所以想来这边学习学习。以现在来看的话，实际上自己做的是探索研究性质的工作，并不牵涉到业务，也没学习到他们最优的点，略有失望。最大的收获就是对机器翻译有了很深的了解，对transformer这一主流模型有了很好的掌握，attention机制也有了新的理解。单靠这一点，秋招拿份机器翻译的offer应该没什么问题。
啰啰嗦嗦的写了一大堆流水账，也是mark下自己的经历吧。看之前那篇总结自己列的计划，没几个实现的，看来自己并不是那种执行能力很强的人。这次就不列计划了。接下来就要秋招了，这两个月就在实验室好好再沉淀。再联系联系老师，看有愿意收我做博士的没。恩，大致就这样。