到目前為止，口譯仍然是一個相對不變的職業(yè)，軟件的進步，很大程度上是因為它是一種細微的藝術形式。

雖然在翻譯生產力工具，機器翻譯（MT）和測量MT質量等主題上已經說了很多，但是之前對于如何將相似的質量評估（QE）方法應用于翻譯領域的研究相對較少。

由馬里蘭大學的Jordan Boyd-Graber和卡內基梅隆大學的Graham Neubig領導的一組美國研究人員剛剛發(fā)表了一篇題為“自動估計同聲傳譯器性能”的論文。在這里，我們概述了論文的發(fā)現(xiàn)并研究了它的含義。我們還包括作者的問答和專業(yè)口譯員的評論。
構建實時質量反饋循環(huán)

旨在幫助口譯員（CAI）的軟件工具已經存在并通過在口譯任務期間提供術語提示而起作用。這些結果好壞參半，因為沒有任何真正的方法可以計算出提供翻譯的信息量和時間。

太多或無關的信息會分散注意力，并且會干擾認知過程，從而妨礙翻譯的表現(xiàn)。

為了解決這個問題，該團隊希望開發(fā)一種實時評估口譯員表現(xiàn)的方法，即能夠判斷口譯員是否可以從那里獲得軟件幫助。如果是，生產力軟件工具將選擇提供術語提示。

生成可靠的實時性能評估是使解釋器的軟件輔助具有選擇性，因此更有用，以及提高同聲傳譯（SI）輸出質量的關鍵。

為此，首先需要基于SI輸出的樣本開發(fā)質量估計（QE）方法，然后將其應用于實時性能方案。

開發(fā)質量評估方法

簡單地使用現(xiàn)有的機器翻譯（MT）QE方法是不夠好的，因為有許多線索表明SI輸出的質量與指示良好MT輸出的那些不同。例如，當翻譯公司的人員掙扎時，他們可能會產生大量暫停的不穩(wěn)定翻譯，或丟棄他們無法正確解釋的大部分內容。

僅使用現(xiàn)有的機器翻譯（MT）QE方法就不夠好了

盡管如此，現(xiàn)有的MT QE方法被認為是一個很好的起點，研究人員團隊決定使用名為QuEst ++的MT QE模型作為基線。然后，他們通過添加許多功能來定制QuEst ++以用于SI輸出，這些功能是解釋器性能的特定指標。

1）暫停/猶豫/不完整單詞的比例 – 因為“翻譯輸出中的猶豫或不完整單詞數(shù)量的增加可能表明翻譯正在努力產生準確的輸出。”

2）非特定單詞的比例 – 因為“口譯員經常通過替換或省略常用名詞來壓縮輸出，以避免使用特定術語來防止冗余或減輕認知負荷。”

3）“準”認知的比例 – 因為“解釋性語音中的音譯詞語可以通過語言接近度來表示便利翻譯，或者試圖產生翻譯公司不知道的單詞的近似值”。

4）單詞數(shù)量的比率 – “比較源和目標長度以及轉錄標點符號的數(shù)量”。

研究人員開始在使用英語 – 法語，英語 – 意大利語和英語 – 日語翻譯輸出的一系列實驗中測試這些附加功能的有效性。他們發(fā)現(xiàn)他們的SI QE模型具有統(tǒng)計上相關的收益，并且在所有語言中都優(yōu)于METEOR。這對英日語言特別有效。
接下來是什么？

基于這些結果，該團隊提出可以立即使用SI QE方法來改進現(xiàn)有解釋器輔助軟件的性能，以便提高SI輸出。他們還建議未來的研究工作可以探索其他特征組合可以幫助調整模型，使其更加適應口譯員表現(xiàn)的特殊性。