Pronoun resolution with deep learning

Abstract

Dilde, bir sözcüğün sürekli tekrar eden kullanımını önlemek için, ilgili sözcüğe atıfta bulunan bir zamir veya isim öbeği kullanılır. Bu gibi durumlarda, atıfta bulunulan sözcük öncül, atıf eden zamir veya isim öbeği ise anafor olarak adlandırılır. Önceki ve/veya sonraki atıfların çözümlenmesi bir diğer deyişle öncül ve anafor arası ilişkinin ortaya çıkartılması işlemi anafor çözümlemesidir. Anafor çözümlemesi, makine çevirisi, metin özetleme, bilgi çıkarımı ve soru cevaplama sistemleri gibi birtakım farklı doğal dil işleme uygulamalarında kullanılır. Bu tez çalışmasında, anafor çözümlemesi problemi zamir çözümlemesine indirgenerek Türkçe zamirlerin çözümlenmesinde derin öğrenme ağlarının başarımı incelenmiştir. Tez kapsamında, derin çok katmanlı algılayıcı ve derin konvolüsyonel sinir ağlarına 12 öznitelik girdi olarak verilerek pek çok farklı konfigürasyonda bu ağlar gerçeklenmiştir. Türkçe çocuk hikayelerinden derlenen 593 adet doğru örnek çifti (öncül – zamir) içeren bir veri seti oluşturulmuştur. Türkçe zamir çözümlemesinde en yüksek başarımın, her katmanda çok sayıda nöron içeren ve orta sayıda (10) katmana sahip çok katmanlı algılayıcı ağ ile elde edildiği görülmüştür.

In language, in order to prevent the repetitive use of an individual item, a referring pronoun or a noun phrase is employed instead. In such cases, the referred item is known as antecedent and the referring pronoun/noun phrase is named as anaphor. The problem of resolving references to earlier or later items, in order words the process of identifying relation between antecedent and anaphora is the anaphora resolution. Anaphora resolution is used practically in a number of different natural language processing applications such as machine translation, text summarization, information extraction and question answering systems. In this thesis, the task of anaphora resolution is simplified to pronoun resolution where only pronominal anaphora resolution is considered. We analyzed the performance of deep learning networks in Turkish pronoun resolution employing 12 features. Multilayer perceptron and convolutional neural networks are implemented with a number of different configurations. A data set of 593 positive samples (antecedent- anaphora pairs) is prepared from a collection of 10 child stories in Turkish. The experimental results showed that the highest performance in Turkish pronoun resolution is obtained by multilayer perceptron neural network with a medium number (10) of layers that employ too many neurons gives.