精度が高いと噂の「DeepL翻訳」が日本語に対応したので使ってみた

       
DeepL翻訳

めちゃくちゃ精度が高いと話題になっている「DeepL翻訳」が3月19日に新たに日本語と中国語に対応したそうです.

その翻訳の正確さは,あのGoogle翻訳を上回るとか.

そんなことあるのか?と思ったので,実際に検証してみました!

DeepL翻訳とは?

DeepL翻訳とは,ドイツのスタートアップのDeepLが2017年から提供されている翻訳サービスです.

DeepL翻訳では,英語と8つの言語(オランダ語,フランス語,ドイツ語,イタリア語,ポーランド語,ポルトガル語,ロシア語,スペイン語)間で翻訳をすることができます.今回はここに日本語と中国語が追加されたようです.

DeepLによると,DeepLのニューラルネットワークアーキテクチャに大幅な改善を加えることで,日本語と中国語でかつてないほどうまく翻訳ができるようになったとのこと.

DeepLは2019年9月に第一回ドイツAI賞を受賞したそうで,いかに評価されているサービスかということがわかります.

DeepL翻訳の翻訳精度は?

DeepLでは,翻訳精度を確かめるためにブラインドテストを行ったそうです.

ブラインドテストでは,オンラインで使える様々な翻訳システムで訳した文章とDeepL翻訳で訳した文章を並べ,翻訳システムの名前を伏せた状態で社外のプロの翻訳者に示し,それぞれを評価してもらうという形式で行ったようです.

テストの結果,DeepLの翻訳が他よりも優れているという結果が出たそうです.

以下の画像がブラインドテストの結果で,縦軸がどのくらいの頻度で他より高い評価を得られたかを示しています.

ブラインドテストの結果

日本語においては,DeepL翻訳が圧倒的ですね.日→英,英→日のどちらにおいても約6割の頻度で他より高い評価を得られていることがわかります.

というわけで,精度を検証するために実際に翻訳してみました!

DeepL翻訳を使ってみた

DeepL翻訳を開くと以下のような入力フォームが表示されます.従来の翻訳サービスと似ていて,左側に原文を入れると右側に訳文が表示されるという仕組みになっています.

DeepL翻訳

ちなみに,ダウンロード版もあり,公式サイトのダウンロードページからMacやWindowsにインストールして使用することもできるようです.

>>Windows版DeepL翻訳の使い方
>> Mac版DeepL翻訳の使い方

まずは,日本人の方が一番使うであろう英→日を検証してみました.

文章は,DeepLのブログの「DeepL翻訳が日本語と中国語を習得」の英語版と日本語版から同じ内容の箇所を一部引用しました.

The improvements in our neural network architecture that we made early this year have enabled us to achieve translation quality in Japanese and Chinese unlike anything we’ve seen before. To be sure the translations lived up to DeepL’s standards, we once again ran blind tests: We asked Japanese and Chinese translators to evaluate a set of translated texts from various online translation providers, without knowing which site produced which translation. Once again, DeepL’s results were picked as the best more often than any other provider’s, as you can see below:

https://www.deepl.com/en/blog/20200319.html

今年初めに大幅な改善を加えたDeepLのニューラルネットワークアーキテクチャを使うことで、日本語と中国語でかつてないほど上手く訳文を作れるようになりました。DeepLが求める翻訳基準を満たしているかどうか確かめるために、今回もブラインドテストを行いました。ブラインドテストでは、オンラインで使える様々な翻訳システムで訳した文章とDeepL翻訳で訳した文章を並べ、翻訳システムの名前を伏せた状態で日本語と中国語の翻訳者に示し、それぞれ評価してもらいました。またしても、DeepLの翻訳が他よりも優れているとして選ばれる頻度が最も高いという結果になりました。結果はこちらです。

https://www.deepl.com/ja/blog/20200319.html

DeepLで翻訳した結果がこちら!

DeepL翻訳 日→英

3秒ほどで訳文が表示されました.非常にこなれた日本語で翻訳されている印象を受けました.日本語のブログ記事の文章と意味がずれている点はないですね.

では,皆さんお馴染みのGoogle翻訳を使ってみましょう.

Google翻訳 日→英

Google翻訳でも普通に読める文章ですね.ただ,「a set of translated texts」をGoogle翻訳では「翻訳テキストのセット」と逐語訳になっています.

対して,DeepL翻訳では,「翻訳文」と前後の文章にマッチするような表現に置き換わっているなどDeepLの方がこなれた日本語に翻訳しているという印象を受けました.

次は,日→英です.

DeepL翻訳がこちら.

DeepL翻訳 英→日

Google翻訳がこちらです.

Google翻訳 英→日

「オンラインで使える様々な翻訳システム」をGoogle翻訳では,「various translation systems that can be used online」とやや逐語訳の感じが否めない訳文ですね.

一方,DeepL翻訳では,「various online translation systems」と自然な英語で訳せている気がします.

他にもGoogle翻訳の方は,どこを翻訳しようとしたのか下から2行目に「Was.」とだけ訳されている部分があるなど,ややちぐはぐな文章である感じがします.例を一つしか挙げていないので完全には言い切れないですが,今回の場合では,日→英もDeepL翻訳の方が精度が高いのではないかと思いました.

ただし,僕は英語が得意というわけではないので,僕の感想の正確さは保証できませんが…

DeepL翻訳は方言も対応!?

いろいろ調べていると,こんなツイートを見かけました.

なんと,方言まで訳せるようです!

というわけで,方言も正しく訳せるのか,試してみました!

検証に使ったのは,DREAMS COME TRUEさんの「大阪LOVER」の歌詞の一番です.

なぜかドリカムなのかというと,方言と聞いて一番最初に思いついたからという単純な理由です.

では,DeepL翻訳にかけてみましょう!

DeepL翻訳 大阪LOVER

「最終」は最終電車のことだと思いますが,「I made it to the end」と翻訳されてしまっています.これは,最後までやり遂げましたという意味になると思うので,誤訳ですね.略語は前後の文意を理解する必要があるので,少し難しかったのかもしれませんね.

また,「いつもはいているスウェット」の部分が「You're always wearing the sweatshirt」となっており,ズボンがシャツに変わってしまっていますね.やはり,略語や省略されているものは難しいみたいですね.

しかし,うまく翻訳できている部分もあって,「万博公園の太陽の塔 ひさびさ見たいなぁ!」が「I haven't seen the Tower of the Sun in the Expo Park in a while!」と文意はちゃんと汲み取れた訳文になっています.

お次は,Google翻訳です.

Google翻訳 大阪LOVER

結構ひどいかも…

まず,「わたしもそっけないけど」が訳されていません.

また,「万博公園の太陽の塔 ひさびさ見たいなぁ!」が「I want to see Hisabi Sassa Tower at Expo Park!」と訳されています.

太陽の塔が見たいのに,「Hisabi Sassa Tower」というタワーが見たいことになっています.果たして「ヒサビ サッサ タワー」はどこなのか?

「大阪弁は上手になれへんし」は大阪弁が上手にならないという意味ですが,Google翻訳では,「Osaka dialect is good」つまり「大阪弁は良い」という全然違う意味になっていますね.

2つを比較した結果,口語調の文章では圧倒的にDeepL翻訳の方が精度が高いことがわかりました.

ただ,後から気付いたのですが,関西弁は字面的にはあまり訛りが強くないので(発音はけっこう違う),もっと訛りが強いものを試してみるとよかったなと思いました.

しかし,Twitterには様々な方言で試した方がいたので,一部を引用したいと思います.

地方の方言には対応できていないところもあるようです.

DeepLはドイツの企業ですからね.関西弁を訳せるだけでもすごいと思います.

まとめ:DeepL翻訳は本当に精度が高かった!

今回は僕もよく利用するGoogle翻訳と新たに日本語に対応したDeepL翻訳の精度の比較を行いました.

DeepL翻訳は,かなりこなれた日本語に翻訳することができ,口語調の文章でも比較的正確に翻訳できることがわかりました.

しかし弱点もあり,前後の文意を理解する必要がある略語は苦手なようです.

ただ,今回の検証で用いた文ではDeepL翻訳が比較的正確な訳文を作ることができていましたが,ブラインドテストの結果を見るとわかる通り,逆にDeepL翻訳以外の翻訳サービスの訳文の方が優れているというケースもあるようです.

ですから,DeepL翻訳を過信せず上手にツールを使い分ける必要があるようですね!

また,小さなスタートアップでもGoogle,Microsoft,Facebookといった大企業に立ち向かえる可能性があるのだと気づくとともに,テクノロジーの奥深さを感じました.

     

コメント

Comments are closed.