Kısmi Gözlemlenebilir Çok Bileşenli Sistemler için Bakım Politikalarının Pekiştirmeli Derin Öğrenme Yöntemleri ile Belirlenmesi

Abstract

Bu çalışmada, kısmi gözlemlenebilir çok bileşenli sistemler için bakım/onarım kararları incelenmiştir. Bu tip sistemler genellikle servis sağlayıcının uzakta olduğu koşullarda işletilmekte ve bileşenlerin aşınma seviyeleri genellikle sensörler yardımı ile tam olarak izlenememektedir. Rüzgâr türbinleri, bu tarz sistemlere birebir uyan bir örnek oluşturmaktadır. İlgili sistemlerde, servis sağlayıcı ne zaman bakım/onarım yapacağına, bakım kararı ile birlikte hangi parçaları bakım noktasına sevk edeceğine ve bakım noktasındaki incelemesinin ardından hangi sistem bileşenlerinin değiştirilmesi gerektiğine karar vermektedir. Çalışmamızda, bahsi geçen bu komplike karar problemi kısmi gözlemlenebilir Markov karar süreci olarak modellenmiş ve ilgili nümerik çözümler aktör kritik pekiştirmeli öğrenme yöntemi kullanılarak elde edilmiştir. Yaptığımız nümerik çalışmalar, pekiştirmeli öğrenme algoritması ile elde edilen çözümlerin pratikte ve literatürde yaygın olarak kullanılan sezgisel bakım/onarım politikalarına kıyasla daha iyi sonuçlar verdiğini göstermiştir. Bazı durumlarda, bu çözümlerin ortalamada %10-%15 düzeyinde bir iyileştirme sağladığı gözlemlenmiştir. Ayrıca, düzeltici bakım maliyeti, acil sipariş maliyeti ve fazla yedek parçayı geri döndürme maliyeti arttıkça, pekiştirmeli öğrenme algoritması ile elde edilen çözümlerin diğer sezgisel politikalara kıyasla daha fazla avantaj sağladığı da belirlenmiştir.