Multidimensional quality metrics ışığında farklı metin türlerinin çevirisi arasında Google Translate'in perfromansı üzerine karşılaştırmalı bir çalışma

Abstract

Bilgisayar bilimleri, hesaplamalı dilbilim ve terminoloji çalışmaları gibi diğer alanlardaki hızlı ilerlemeyle birlikte çeviri teknolojisi, çeviri pratiğinde yeni bir aşamaya girmiş ve çeviribilim alanında önemli bir konum kazanmıştır. Makine çevirisi, çeviri şirketleri, uluslararası şirketler, profesyonel çevirmenler ve diğer kullanıcılar tarafından kullanılır. Google translate, dünyada yaygın olarak kullanılan ve teknik metinlerin çevirisinde iyi sonuçlar veren bilgisayar çevirilerinden biridir. Bu çalışma karşılaştırmalı, betimsel ve aynı zamanda 2018 yılında, Betül KOÇER tarafından yapılmış olan İnşaat Alanındaki İngilizceden Türkçeye Çevrilmiş TSE Standartlarının Çeviri Kalitesinin Değerlendirilmesi: Skopos Kuramı Işığı Altında Komisyonun Etkisinin İncelenmesi başlıklı tezinin bir replika çalışmasıdır. Bu tez, Multidimensional Quality Metrics (MQM) ışığında Türkçeden İngilizceye çevrilmiş teknik metinlerle edebi metinlerin çevirisi arasındaki Google çeviri performansını karşılaştırmayı hedeflemektedir. Bu amaçla teknik metinlerin çevirilerinin değerlendirilmesi için fen, sosyal bilimler, ekonomi ve mühendislik alanlarından dört örnek, edebi metinlerin değerlendirilmesi için ise rastgele bir şiir ve öykü seçilmiştir. Bu örnekler çeviri kalitesi değerlendirmesinin bir çerçevesi olan Multidimensional Quality Metrics'e göre incelenmiştir. Tespit edilen çeviri hataları MQM tarafından sunulan karar ağacına göre kategorilere ayrılmış ve ağırlıkları önem derecelerine göre belirlenmiştir. Daha sonra her örneğin çeviri kalite puanı MQM formülüne göre yüzde olarak hesaplanmıştır. Elde edilen puanlar sırasıyla mühendislik örnekleminde %92, sosyal bilimler örnekleminde %95, fen örnekleminde %92, ekonomi örnekleminde %94, öykü örnekleminde %75 ve şiir örnekleminde %7'dir. Sonuç olarak çeviri kalite puanları, Google çevirinin teknik metinlerin çevirisinde ve bir bakıma öykü çevirisinde iyi bir performans sergilediğini ancak şiir çevirisinde başarısız olduğunu göstermektedir. Anahtar Sözcükler: Bilgisayar Çevirisi, Google Nöral Bilgisayar Çevirisi, Makine Çevirisi Sonrası Düzeltme, Multidimensional Quality Metrics, Hata Analizi

With the rapid advance in computerscience and other fieldssuch as computational linguistics and terminology studies, translation technology entered a new phase in translation practice and gained an important status in the field of translation studies. Machine translation is used by translation companies, international corporations, professional translators, and other users. Google translate is one of those machine translations which is widely used in the world and provides good results in the translation of technical texts. The present study is a comparative, descriptive, and replication study of a thesis conducted by Betül KOÇER cited as Translation Quality Assessment of TSE Standards in the Field of Construction Translated from English into Turkish: Examining the Effect of Commission in the Light of Skopos Theory in 2018. This thesis compares the performance of Google neural machine translation between the translation of technical texts and literary texts translated from Turkish into English in the light of the Multidimensional Quality Metrics (MQM). In this regard, for the evaluation of the translation of technical texts, four samples in the fields of science, social science, economy, and engineering and for the evaluation of literary texts one poem and shortstory have been selected randomly in order to be examined according to the Multidimensional Quality Metrics, which is a framework of translation quality assessment. Detected translation errors were categorized in accordance with the decision tree presented by MQM and their weights were determined according to their severities. Afterward, the translation quality score of each sample was calculated in percentages according to the formula of MQM. Obtained scores were respectively 92% for the engineering sample, 95% for the social science sample, 92% for the science sample, 94% for the economy sample, 75% for the short story sample, and 7% for the poem sample. As a result, translation quality scores show that Google neural machine translation displayed a good performance in the translation of technical texts and in some way in the translation of the short stories, however, it failed in the translation of poems. Keywords: Machine Translation, Google Neural Machine Translation, Postediting, Multidimensional Quality Metrics, Error Analysis