Tf-ıdf ve Pagerank Algoritmaları Kullanılarak Türkçe için Text Özetleme

Abstract

Bilgi teknolojileri ve İnternet altyapısının gelişmesi ile birlikte kullanıcıların bilgiye ulaşması çok daha hızlı ve basit bir hale gelmiştir. Ancak, bu gelişmelerin bir başka sonucu da bilgi fazlalığına neden olması ve bunun sonucu olarak istenilen başlık altındaki bilgiye ulaşmanın gün be gün daha da zor bir hale gelmesidir. Otomatik Doküman Özetleme ile birlikte dokümanların içerisindeki ana bilginin korunması sağlanarak kullanıcıya istediği bilgiyi sağlamasına yardım edilmektedir. Bu tez, istatistiksel tabanlı TF-IDF algoritması ve TF-IDF ile grafik tabanlı PageRank algoritmasının birleşimi ile geliştirilen tekli otomatik doküman özetleme sisteminin sunumunu kapsar. Bu çalışma kullanılan algoritmaların Türkçe için uygulanabilirliği ve etkisinin ortaya çıkarımının gösterimini amaçlamaktadır. Ayrıca birbirinden ayrı olarak geliştirilen TF-IDF ve TF-IDF ile PageRank (hibrid) uygulamaları birbirleri ile kesinlik, hassasiyet ve F-puanı olarak karşılaştırılmıştır.

The improvements on the information technologies and the Internet infrastructure have enabled the users to reach information in an easier and faster manner. However, another consequence of the improvements is the information overload. To reach the required information about a specific topic has become more difficult day by day. Automatic text summarization helps to solve the problem by minimizing the document size while keeping its core information required by the user. This thesis presents an extractive single document automatic text summarization system for Turkish, which implements the statistical-based TF-IDF algorithm as well as a hybrid approach which is a combination of TF-IDF with the graph-based PageRank algorithm. The study aims to reveal the usability and the effectiveness of these algorithms for Turkish documents. Moreover, TF-IDF and TF-IDF with PageRank (Hybrid) systems have been evaluated and compared with each other using the co-selection evaluation techniques precision, recall and F-score.