原创 谷歌開源進化版Transformer!基於神經網絡架構搜索,效果更好、訓練更快

谷歌大腦的新論文《The Evolved Transformer》提出了首個用於改進Transformer的神經網絡架構搜索算法(NAS)。Transformer是許多自然語言處理任務的最流行的網絡架構之一。該論文使用基於錦標賽選擇的進化

原创 谷歌開源先進語言模型Transformer-XL:集Transformer和RNN之大成

近日,谷歌聯合 CMU 開源了一個名爲 Transformer-XL 的語言模型,它是目前處理語言建模問題最先進的架構之一 Transformer 模型的第三代升級,不僅能夠處理可變長度序列,並且在多個任務中刷新了當前的最好性能(推理速度