Browsing by Author "Familiari, Filippo"

Now showing 1 - 3 of 3

Citation - WoS: 9
Citation - Scopus: 11
Can Popular AI Large Language Models Provide Reliable Answers to Frequently Asked Questions About Rotator Cuff Tears
(Elsevier, 2025) Kolac, Ulas Can; Karademir, Orhan Mete; Ayik, Gokhan; Kaymakoglu, Mehmet; Familiari, Filippo; Huri, Gazi
Background: Rotator cuff tears are common upper-extremity injuries that significantly impair shoulder function, leading to pain, reduced range of motion, and a decrease in quality of life. With the increasing reliance on artificial intelligence large language models (AI LLMs) for health information, it is crucial to evaluate the quality and readability of the information provided by these models. Methods: A pool of 50 questions was generated related to rotator cuff tear by querying popular AI LLMs (ChatGPT 3.5, ChatGPT 4, Gemini, and Microsoft CoPilot) and using Google search. After that, responses from the AI LLMs were saved and evaluated. For information quality the DISCERN tool and a Likert Scale was used, for readability the Patient Education Materials Assessment Tool for Printable Materials (PEMAT) Understandability Score and the Flesch-Kincaid Reading Ease Score was used. Two orthopedic surgeons assessed the responses, and discrepancies were resolved by a senior author. Results: Out of 198 answers, the median DISCERN score was 40, with 56.6% considered sufficient. The Likert Scale showed 96% sufficiency. The median PEMAT Understandability score was 83.33, with 77.3% sufficiency, while the Flesch-Kincaid Reading Ease score had a median of 42.05 with 88.9% sufficiency. Overall, 39.8% of the answers were sufficient in both information quality and readability. Differences were found among AI models in DISCERN, Likert, PEMAT Understandability, and Flesch-Kincaid scores. Conclusion: AI LLMs generally cannot offer sufficient information quality and readability. While they are not ready for use in medical field, they show a promising future. There is a necessity for continuous reevaluation of these models due to their rapid evolution. Developing new, comprehensive tools for evaluating medical information quality and readability is crucial for ensuring these models can effectively support patient education. Future research should focus on enhancing readability and consistent information quality to better serve patients. (c) 2024 The Author(s). Published by Elsevier Inc. on behalf of American Shoulder and Elbow Surgeons. This is an open access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Response to the Letter to the Editor Regarding “Can Popular Artificial Intelligence Large Language Models Provide Reliable Answers to Frequently Asked Questions About Rotator Cuff Tears?”
(Elsevier B.V., 2025) Kolac, Ulas Can; Karademir, Orhan Mete; Ayık, Gökhan; Kaymakoğlu, Mehmet; Familiari, Filippo; Huri, Gazi
YouTube Does Not Provide Reliable Information About Glenohumeral Osteoarthritis: A Quantitative Analysis
(2025) Kaymakoglu, Mehmet; Huri, Gazi; Kolaç, Ulaş Can; Ayik, Gokhan; Aksoy, Taha; Familiari, Filippo; Jackson, Garrett
Amaç: Diğer formlarından daha az yaygın olmasına rağmen, glenohumeral osteoartrit yaşlı yetişkinlerin neredeyse beşte birini etkilemektedir. YouTube, hastalar için popüler bir sağlık bilgisi kaynağı haline gelmiştir, ancak hekimler yanıltıcı içerik potansiyeli konusunda giderek daha fazla endişe duymaktadır. Özellikle, YouTube videolarının glenohumeral osteoartrit üzerine kalitesi konusunda literatürde önemli bir boşluk bulunmaktadır. Bu çalışma, bu boşluğu ele almayı ve glenohumeral osteoartrit üzerine çevrimiçi sağlık bilgilerinin güvenilirliğine değerli katkılarda bulunmayı amaçlamaktadır. Gereç ve Yöntemler: YouTube veritabanında \"glenohumeral artrit\", \"omuz artriti\" ve \"omuz osteoartriti\" terimleri kullanılarak sistematik bir arama gerçekleştirildi. Videoların güvenilirliğini, doğruluğunu ve içerik kalitesini değerlendirmek için DISCERN, JAMA Referans Kriterleri ve Küresel Kalite Skalası (GQS) kullanıldı. Video özelliklerinin görüntülenme sayısı, beğeni sayısı, video süresi ile korelasyonu varyans analizi (ANOVA) modeli kullanılarak incelendi. Video kaynaklarına dayalı puan varyasyonları iki örneklem t-testleri ve regresyon analizleri ile değerlendirildi. İnceleyenler arasındaki anlaşma, sınıflararası korelasyon katsayısı ile değerlendirildi. Bulgular: Çalışmaya toplam 102 video dahil edildi. Ortalama video süresi 8.7 dakika idi. Ortalama görüntülenme sayısı 348 ve görüntülenme oranı 0.25 idi. Ortalama beğeni sayısı 46.3'tü. Ortalama DISCERN puanı 44.73 (ICC=0.93), ortalama GQS 2.59 (ICC=0.87) ve ortalama JAMA puanı 2.5 idi. DISCERN sınıflandırmasına göre; videoların %13.6'sı çok yetersiz kalitede, %45'i yetersiz kalitede, %32.3'ü ortalama kalitede ve %7.8'i iyi kalitede idi. Küresel Kalite Skoruna göre, 60 video (%58.9) düşük kalite olarak değerlendirildi. Sonuç: Sonuçlarımız, glenohumeral osteoartrit ile ilgili YouTube videolarının çoğunluğunun içeriğinin yetersiz kalitede olduğunu göstermektedir. Sağlık profesyonelleri bu sınırlamaları tanımalı ve hasta memnuniyetini ve tedavi sonuçlarını olumlu yönde etkilemek için daha yüksek kaliteli eğitim içeriği sağlama konusunda yoğun çaba göstermelidir.