Kısmi Gözlemlenebilir Pekiştirmeli Öğrenmede Faydalı Bellek Oluşturma

Abstract

Pekiştirmeli öğrenme, gerçek hayattaki bir öğrenme ortamını modellemeyi amaçlayan önemli bir makine öğrenme tekniğidir. Konuyla ilgili son araştırmalar, araştırmacılar arasında onu çok popüler hale getirmiş ve birçok gerçek hayat senaryosuna daha uygulanabilir olmasını sağlamıştır. Kısmi gözlemlenebilirlik altında pekiştirmeli öğrenme, çevreden toplanan sınırlı bilgi nedeniyle özellikle zorlu bir alandır. Bu gibi hallerde, etmen, verilen görev için bir hareket tarzı oluşturabilmesi için ortamın durumunu tahmin etmek için deneyimlerden oluşan bir bellek tutmak zorundadır. Bazı çalışmalar, etmenin mevcut andan önceki bir dizi gözlemi ve eylemi bellekte tutmasını sağlayan basit bir pencere tabanlı bellek yaklaşımı kullanır, ancak bu tür yöntemler, bir bilgiyi uzun süre boyunca bellekte tutmayı gerektirdiği problemlere genellenemez. Diğer çalışmalar, gerekli bilgileri yapı içinde tutan karmaşık bir model kullanır, ancak bu tür modeller, probleme çok özel olmak ve analiz için çok kapalı olmaktan dolayı yetersiz kalmaktadırlar. Bu tür problemlerde, bir eyleme karar verecek ilgili bilgi zamansal olarak uzaktır, bu nedenle etmen neyi bellekte tutacağı konusunda seçici olmak zorundadır. Yararlı bir bellek tutma problemini ele alan çalışma azdır ve uygulanabilirlikleri sınırlıdır. Bu sebeple bu alan keşfedilmemiş kalmıştır. Bu çalışmada, belleği değiştiren eylemler yapmasına izin vererek bellek kontrolünü etmene verme fikrini takip ediyoruz. Böylece etmen, bir ortamın dinamiklerine daha uyumlu hale gelir. Ayrıca, bu öğrenme mekanizmasını desteklemek için, etmenin ayırt edici olayları hatırlamasında yol gösterici olan ve ortamdaki durumunu netleştirmesini sağlayan bir içsel motivasyon yapısı oluşturduk. Genel yaklaşımımız, birkaç pekiştirmeli öğrenme yöntemine uygulanmış, uzun süreli bellek gerektiren birkaç kısmi gözlemlenebilir problem üzerinde test edilmiş ve analiz edilmiştir. Deneyler, diğer bellek tabanlı yöntemlere kıyasla öğrenme performansı açısından net bir gelişme göstermektedir.