Multimodal analysis of customer reviews by transfer learning

Abstract

Teknolojinin gün geçtikçe gelişmesiyle birlikte insanlar online alışveriş platformlarını tercih etmektedir. Bu platformlarda e-ticaret şirketleri, metin formatında çok sayıda yorum almaktadır. Bu yorumların duygu analizine göre işlenmesi, müşteri memnuniyeti ve ürün kalitesinin sağlanması açısından önemlidir. Duygu analizi, müşterinin ihtiyaçları ve görüşleri hakkında değerli içgörüler sağlayabilir. Yıllar geçtikçe şirketler, müşteri deneyimini zenginleştirmenin yeni yollarını bulmuşlardır ve sistemlerine resim ekleme özelliği eklemişlerdir. Bu tezde, metin ve resim formatını birlikte kullanarak, farklı transfer öğrenme modellerinin müşteri yorumlarındaki duygu sınıflandırmasındaki başarısı incelenmiştir. Metin formatındaki başarıyı arttırmak için bir çoklu model yaklaşımı önerilmiştir. Çoklu model yaklaşımında metin için SBERT cümle vektörleri, görüntü için CLIP görüntü dönüştürücüleri kullanılmıştır. Bu yaklaşımda, en yüksek değerler dikkate alındığında %93.03 doğruluk ve %93.08 F1 performans değerlerine ulaşılmıştır.

It is undoubtedly true that people choose online shopping platforms as technology improves each day. E-commerce companies receive a huge number of valuable reviews in text format. Processing this data with respect to sentiment analysis is important for ensuring customer satisfaction and product quality. Sentiment analysis can give precious insights about customer's needs and opinions. Through the years, companies found new ways to enrich the customer experience and added image attachment feature to reviews. In this thesis, we examine the success of different transfer learning models on classifying sentiments of customer reviews and propose a multimodal approach to robust the success of text analysis. Our multimodal approach uses SBERT sentence embeddings for text and CLIP vision transformers for image. The final multimodal approach has 93.03% accuracy and 93.08% F1 considering the highest values.