A comparison between relational database models and NoSQL trends on big data design challenges using a social shopping application

Abstract

Veri yaratımı günden güne fazlaca artmaktadır. Sonuç olarak bugünlerde karşı karşıya kaldığımız verinin anlamını genişletmek için Büyük Veri terimi ortaya çıktı. Geleneksel veritabanı teknolojileri büyük miktarlarda veriler içeren uygulamaları çalıştırırken mücadeleler yaşamaya başladı. Bu tür sorunlar araştırmacıları yepyeni veri işleme metotları geliştirmeye yöneltti. Tüm sistemler gerekli olduğu zaman yeni gereksinimlerden kaynaklanan değişimlere ayak uydurmak zorundadırlar. Piyasada çeşitli veritabanı yönetim sistemleri ve ürünleri bulunmaktadır. İlişkisel veritabanları 1970'lerden beri veri saklama ve işleme konusunda etkiliydiler. Fakat bugünkü verinin miktarı geçtiğimiz birkaç yıla göre karşılaştırıldığında bile çok fazladır. Bu durum kaçınılmaz olarak bazı sistemlerin tasarımlarını iliş}kisel modellerden NoSQL akımına çevirmeye zorlamıştır. Farklı şirketler tarafından geliştirilen bir çok farklı NoSQL ürünü vardır. Bu durumda geliştiriciler sistemlerindeki Büyük Veri ve onun problemleri ile uğraşmak için hangi tür veritabanı seçeceklerine karar vermekte zorlanmaktadırlar. Bu tezde, farklı veritabanı yönetim sistemleri ve zorlukları özetlenmiştir. İlişkisel ve grafik tabanlı olmak üzere iki farklı veritabanı teknolojisi analiz edilmiş ve karşılaştırılmıştır. Bu iki teknoloji için sosyal ağ ile çevrimiçi alışveriş uygulaması olan TrendPin üzerinde veri modelleri tasarlanmış ve geliştirilmiştir. Tasarım modelleri ve farklı sorgu performansları gösterilmiştir. Ek olarak bilgi çıkarımı konusu açıklanmış ve grafik modeli tasarımında karşılaşılan sorunların üstesinden gelmek için bir bilgi bankası oluşturulmuştur.

Data generation is increasing excessively day by day. Consequently, the term Big Data came out to expand the meaning of data we face nowadays. Traditional database technologies started to have struggles when operating the applications containing huge amount of data. Such problems impelled researches to develop brand new ways of handling data. All systems should try to adopt changes resulting from new requirements when necessary. There are various database management systems and products in the market. Relational databases were efficient to store and process data since 1970s. However, today's amount of data is far more huge compared to even last couple of years ago. This situation inevitably forces some systems to shift their design from relational models to NoSQL trends. There are also various NoSQL technologies exist with a number of different products developed by companies. In this case, developers may be confused to decide which type of database should be used in order to deal with Big Data and its problems within their systems. In this thesis, we summarize database management systems including NoSQL and challenges among them. We analyse and compare two different database technologies in detail; relational and graph databases. We design and develop data models for both technologies for a social shopping system called TrendPin. We show design models as well as distinct query performances. Additionally, we explain information extraction process and implement a knowledge base for TrendPin to overcome problems we encountered when designing graph model.