İŞİTME KAYIPLI BİREYLERİN DERİN ÖĞRENME TABANLI SES DUYGU ANALİZİ

Abstract

Amaç: İşitme kayıplı bireylerin, hedef duyguyu tanıma ve ifade etme becerileri düşüktür. Bu çalışmanın amacı, koklear implant kullanan bireylerde duyguları sözel ifade etme becerisini derin öğrenme ile değerlendirmek ve koklear implant kullanan bireylerin eğitim öncesi ve eğitim sonrası derin öğrenme ile ses duygu analizleri arasındaki farkı ortaya koymaktır. Gereç ve Yöntem: Çalışma, veri setinin oluşturulması, derin öğrenme algoritmasının oluşturulması/ eğitilmesi ve prototipin canlıya geçirilmesi (klinik uygulama) olmak üzere üç aşamada gerçekleştirilmiştir. Derin öğrenme algoritmasının eğitilmesi için hazırlanan veri seti cümleleri nötr, mutluluk, hüzün, öfke, korku ve şaşkınlık olmak üzere altı farklı duyguda Drama ve Oyunculuk Bölümü’nde öğrenim gören 20 kadın ve 20 erkek öğrenci tarafından seslendirilmiştir. Derin öğrenme eğitimi tamamlandıktan sonra 18- 40 yaş aralığında, 20 normal işiten ve 20 koklear implant kullanan olmak üzere toplamda 40 birey çalışmaya dahil edilmiştir. Koklear implant kullanan bireyler resim ve animasyon olmak üzere iki ayrı duygu eğitimi uygulandıktan sonra cümleleri tekrar seslendirmiştir. Derin öğrenme yöntemi kullanılarak, eğitim öncesi ve eğitim sonrası ses duygu analizleri karşılaştırılmıştır. Bulgular: Derin öğrenme eğitimi tamamlandıktan sonra test aşamasında doğruluk oranı %93 elde edilmiştir. Derin öğrenme ile ses duygu analizi doğruluğu, normal işiten bireylerde %94.3, koklear implant kullanan bireylerde eğitim öncesi %68.25, koklear implant kullanan bireylerde eğitim sonrası %91.3 olarak elde edilmiştir. Sonuç: Koklear implant kullanan bireylerin ses duygu analizi doğruluk oranı, normal işiten bireylerin ses duygu analizi doğruluk oranına göre daha düşük ve koklear implant kullanan bireylerin eğitim sonrası ses duygu analizi doğruluk oranı x daha yüksek elde edilmiştir. Bu çalışma, işitme kayıplı bireyler için ilk olması ile literatüre yenilikçi bir katkı sağlayacağı öngörülmektedir