4/25/2018 4:07:00 PM
神經機器翻譯的技術——殘差網絡
今天樂文翻譯公司帶你了解下神經機器翻譯的技術之一殘差網絡（Residual Network）。
所謂的殘差網絡就是一種跨層次的鏈接機制。如上圖所示，被灰粉色遮蔽的部分就是使用了殘差網絡機制的網絡鏈接。注意，原始網絡中，每一個跨層次的鏈接都僅僅鏈接上下兩個層次，但是在這里由x10到+號的鏈接就是這種跨層次的殘差網絡機制鏈接。
有了這樣一種跨層次鏈接的機制就使得網絡可以做得很深很深，從而實現了深度上的革命，而且可以讓準確率得到非常顯著的降低。那么，殘差網絡是如何實現這種跨層次鏈接，同時又加速網絡學習的呢？讓我們看下圖：
我們知道，其實神經網絡就是一個從輸入到輸出的函數。那么對于一個局部的兩層的網絡來說，它也可以被看作是一個小型的函數。我們不妨記這個小型的網絡是H(x)，它恰恰就是我們的兩層網絡要學習的函數。
我們不妨可以把這個函數分解為兩部分，一部分是直接從輸入端輸入進來的信號x，以及一部分剩余的量（殘差）F(x)，而這部分殘差F(x)就可以交給這兩層網絡來學習。這樣，當我們的網絡逼近F(x)函數的時候，我只需要加上輸入信號x就可以自然得到我們想要的函數H(x)。
那么，我們為什么要把H(x)拆成F(x)和x兩部分呢？答案就在于，當我們直接把輸入信號x導入給輸出節點+的時候，我們實際上創造了一個信息傳輸的捷徑，這就可以大大節省訓練這個局部小網絡的世界。當然，這里面的前提是說，在大多數情況下，正確的H(x)函數是和x這個信號具有類似的數量級的。所以，我們創造了捷徑后，網絡只需要做微調，以學習實現一個殘差函數F(x)的神經網絡就可以了。
有了這種殘差的機制，我們就可以讓信息更快地通過網絡，從而大大地節省了網絡訓練的時間，這也就自然可以讓我們將網絡的層次加深，這就是殘差網絡的基本原理。
有了殘差機制，現在的網絡可以深到1000層之多。
樂文翻譯公司的平頂山翻譯分部也在不斷完善自己的技術，從語法、專業性上有了突飛猛進的提高，有翻譯服務相關的需求，可以隨時與我公司聯系，客服熱線：400-895-6679