Enhancing mutation testing: Search-based optimization to improve testing quality

Abstract

Yazılım testi, yazılım geliştirme yaşam döngüsünün önemli bir aşamasıdır. Kapsamlı test faaliyetleri olmadan ortaya çıkan ürün kullanışsız veya güvenilmezdir. Kaynak kodundaki değişiklikler test paketlerinin yeniden yürütülmesini gerektirdiği için, kod kapsamı projenin gereksinimleriyle uyumlu olmalıdır. Hata odaklı bir şeffaf kutu birim test tekniği olan mutasyon testi, test paketlerinin kalitesinin değerlendirilmesi ve test prosedürlerindeki zayıflıkların belirlenmesi için kullanılır. Mutasyon testinin uygulanması her ne kadar etkili olsa da, yüksek maliyetler, eşdeğer mutantların varlığı ve test paketlerindeki test fazlalıkları nedenlerinden dolayı uygulamada zorluklar göstermektedir. Bu çalışmada, yazılım mühendisliğinde mutasyon testi araştırılmış, klasik metodolojilerden yapay zeka ve yenilikçi hibrit tekniklerin entegrasyonuna kadar gelişiminin izini sürülmüştür. Mutasyon testinin geleneksel ilkeleri ve problemleri incelenmiş ve C\# programlama dili için mutasyon test araçlarının derinlemesine analizi yapılmıştır. Test grubu azaltma problemini optimize etmek için iki metasezgisel yöntemi (genetik algoritmalar ve karınca kolonisi optimizasyonu) birleştiren arama tabanlı mutaston testi için yeni bir hibrit yöntem sunulmuştur. Eşdeğer mutantlar sorunu, daha üst düzey mutasyon testlerinin verimliliğini artırmak için genetik algoritmalar kullanılarak ele alınmıştır. Sonuç olarak bu çalışma, test kalitesinin iyileştirilmesi için mutasyon testine katkı sağlamaktadır. Gelişmiş hesaplama tekniklerini entegre eden, böylece daha etkili, verimli ve gelişmiş yazılım kalite güvence uygulamalarının önünü açan yaklaşımlar önermiştir.

Software testing is a crucial phase in the software development lifecycle. Without thorough testing activities, the product may be ineffective or unreliable. Because any changes in the source code require the re-execution of test suites, it is important that the code coverage aligns with the requirements of the project. Mutation testing, a fault-oriented white-box unit testing technique, is the process that enables the evaluation of the quality of test suites and identify weaknesses in test procedures. Although effective, the application of mutation testing faces a range of challenges: high costs, the presence of equivalent mutants, and the redundancies in test suites. This study therefore aims to explore the progress of mutation testing and its position within software engineering, tracing its evolution from classic methodologies to the integration of artificial intelligence and innovative search-based hybrid techniques. This involves delving into the traditional principles of mutation testing, its problems, providing an in-depth analysis of mutation testing tools, particularly for C\#, and evaluating their functionalities. This leads into the introduction of a novel hybrid method, combining two meta-heuristics: genetic algorithms and ant colony optimization, the aim of which is to optimize the test suite reduction problem in search-based mutation testing. The problem of equivalent mutants is also addressed by utilizing genetic algorithms to enhance the efficiency of higher-order mutation testing. Consequently, this research contributes to mutation testing in solving problems mentioned above. It proposes innovative approaches that integrate advanced computational techniques, and thus paving the way for more effective software quality assurance practices.