Büyük Dil Modelleri Kullanılarak Afet Yardımı için Türkçe Tweetlerin Etki Analizi

Abstract

Doğal afetlerin, özellikle sismik olayların sık görülmesi, önemli ölçüde yıkıma yol açmakta ve sonrasında büyük felaketler ortaya çıkarmaktadır. Bu tür krizler sırasında hızlı bilgiye duyulan kritik ihtiyacın karşılanması hayati önem taşımaktadır. Bu nedenle, bu çalışma, sosyal medyada bulunan bilgileri işleyerek yenilikçi bir sistem aracılığıyla afetle ilgili kayıpları azaltmaya odaklanmaktadır. Yüksek miktarda tweet verilerinden hayati bilgileri hızla tanımlamak ve önceliklendirmek üzere tasarlanan sistemin, bileşenlerinin geliştirilmesi ve karşılaştırmalı değerlendirmesi detaylandırılmaktadır. Türkiye'deki Şubat 2023'teki büyük depremin hemen ardından atılan tweetlerden oluşan özel bir veri seti derlenmiştir. Bu veriler, büyük dil modelleri ile hem istem mühendisliği hem de ince ayar metodolojileri kullanılarak mesajlar afetle ilgili ve acil, afetle ilgili ancak acil olmayan ve afetle ilgili olmayan şeklinde üç temel kategoriye sınıflandırılmıştır. Gemini-1.0-pro ve GPT-4o-mini modellerinin yanı sıra bu modellerin ince ayarlanmış versiyonlarının performansı karşılaştırılmıştır. Sonuçlar, gelişmiş istem stratejileriyle kullanıldığında ince ayarlanmış GPT-4o-mini modelinin en yetkin model olduğunu ve %93,64'lük bir sınıflandırma başarısına ulaştığını göstermiştir. Bu sınıflandırmanın ardından bir etki skoru algoritması uygulanmıştır. Bu algoritma, yeniden paylaşımlar, beğeniler ve görüntülenmeler gibi çeşitli tweet etkileşim metriklerinden yararlanarak daha önemli mesajları ayrıca sıralamak ve vurgulamak için kullanılır. Bu araştırmanın, kurtarma ve yardım kuruluşlarının durumsal farkındalıklarını ve müdahale yeteneklerini artırarak onlara önemli ölçüde destek sunması beklenmektedir. Ayrıca, kriz bilişimi alanında Türkçe dil işlemenin ilerlemesine önemli bir katkıda bulunmayı amaçlamaktadır.

The frequent occurrence of natural disasters, particularly seismic events, leads to significant destruction and brings major catastrophes. Addressing the critical need for fast information during such crises is of paramount importance. Therefore, this study focuses on mitigating disaster-related losses through an innovative system that processes information available on social platforms. Development and comparative evaluation of the components of a system designed to rapidly identify and prioritize vital information from high amounts tweet data are detailed. A specific dataset was compiled, consisting of tweets posted in the aftermath of the major earthquake in Türkiye in February 2023. Using this data, messages were classified into three primary categories: disaster-related and urgent, disaster-related but not urgent, and non-disaster-related, utilizing both prompt engineering and fine-tuning methodologies with large language models. Performance of Gemini-1.0-pro and GPT-4o-mini models, as well as fine-tuned versions of these models were compared. The results indicated that the fine-tuned GPT-4o-mini model, when used with advanced prompting strategies, achieved a classification success of 93.64%. Following this classification, an impact score algorithm was implemented. This algorithm utilizes various tweet engagement metrics, such as reposts, likes, and views, to further rank and highlight more significant messages. This research is anticipated to offer substantial support to rescue and aid organizations by enhancing their situational awareness and response capabilities. Furthermore, it aims to make a significant contribution to the advancement of Turkish language processing in the field of crisis informatics.