Real-time facial emotion recognition for visualization systems [Master Thesis]

Abstract

Kamera sistemleri, teknolojideki ilerleme nedeniyle kullanıcılar için anlamlı sonuçlar verebilir hale gelmelidir. Çoğunlukla insanların veya robotların olduğu alanlarda kullanılan kamera sistemleri için destekleyici bilgi olarak yüz duygu tanıma sonuçlarının verilmesi, kamera sistemlerinde favori bir yaklaşımdır. Bu nedenle, bu tez gerçek zamanlı yüz duygu tanımaya dayalı kamera sistemlerinde en popüler derin öğrenme algoritmalarını ve performanslarını gözden geçirmeyi ve gelecekteki uygulamalar için yeni bir model önermeyi amaçlamaktadır. İlk olarak AlexNet, GoogleNet ve VGG19 gibi insan duygularını tanıyan evrişimli sinir ağı (CNN) algoritmaları performanslarına göre incelenmiştir. Ardından, geliştirme için en iyi sayısal performansa sahip CNN algoritması seçilmiştir. Seçilen CNN ve uzun kısa süreli bellek (LSTM) aracılığıyla yeni hibrit model oluşturulmuştur. Son olarak, önerilen model ve gerçek zamanlı olarak kameradan elde edilen yüz görüntüleri ile uygulama gerçekleştirilmiştir.

The camera systems must be able to support meaningful results for users due to the advancement in technology. The camera systems are usually used in areas with humans or robots, so facial emotion recognition results chosen as supporting information are the favourite choice in the camera systems. Thus, this thesis aims to review the most popular deep learning algorithms and their performances in camera systems based on real-time facial emotion recognition and suggest a new model for future applications. Firstly, convolutional neural network (CNN) algorithms that recognize human emotions, such as AlexNet, GoogleNet, and VGG19, are investigated according to their performances. Then, the CNN algorithm with the best numerical performance is chosen for enhancement. After, the new hybrid model is constructed via chosen CNN and long short-term memory (LSTM). Lastly, the proposed model and face images achieved from the camera are combined to simulate real-time application.