Rangkaian pembelajaran mendalam berbilang skala untuk pengecaman emosi berdasarkan riak wajah mikro

Abstract

Emosi merupakan keadaan mental dan fisiologi yang boleh dicirikan melalui pelbagai tingkah laku, pemikiran, tindakan dan perasaan. Terdapat beberapa kaedah untuk berkomunikasi secara bukan lisan, di mana riak wajah mikro adalah salah satu cara semula jadi untuk manusia menyampaikan emosi yang bukan dibuat-buat. Riak wajah mikro terbentuk daripada pergerakan muka yang halus, yang sukar dikecam disebabkan perubahan pergerakan otot yang minimum. Secara umumnya, riak wajah emosi yang dipaparkan oleh wajah manusia boleh dibahagikan kepada enam kategori: gembira, sedih, jijik, marah, takut, dan terkejut. Baru-baru ini, pendekatan pembelajaran mendalam melalui rangkai neural konvolusi (CNN) telah digunakan untuk mengecam emosi secara automatik, tetapi prestasi kejituan sistem berkurangan apabila imej input masukan yang terdiri daripada pelbagai saiz digunakan. Oleh itu, seni bina rangkaian yang lebih baik untuk pengkelasan emosi diperlukan untuk mengatasi isu berbilang skala ini. Justeru itu, objektif utama penyelidikan ini adalah untuk membangunkan algoritma pengecaman emosi melalui riak wajah mikro menggunakan kaedah pembelajaran mendalam berbilang skala. Terdapat tiga objektif khusus yang akan dikaji iaitu 1) membangunkan modul asas CNN yang padat, 2) mengkaji keberkesanan pendekatan modul berbilang skala pengumpulan piramid ruangan (SPP) dan pengumpulan piramid ruangan terdilat (ASPP) untuk diaplikasikan ke dalam algoritma pengecaman emosi melalui riak wajah mikro, dan 3) menganalisis keberkesanan aliran rangkaian secara terus dan air terjun. SPP merupakan rangkaian cabang selari yang mengekstrak ciri berbilang skala melalui operasi pengumpulan bawah berturut-turut, manakala ASPP mengekstrak ciri berbilang skala daripada sekumpulan konvolusi terdilat dengan pelbagai kadar pengembangan. Modul ini akan diintegrasikan ke dalam model CNN asas yang teroptimum yang terdiri daripada lima lapisan konvolusi, tiga lapisan pengumpulan dan tiga lapisan sambung-penuh. Terdapat empat seni bina berbilang skala baharu yang diperkenalkan yang dinamakan sebagai: Direct Spatial Pyramid Pooling (DSPP-Net), Direct Atrous Spatial Pyramid Pooling (DASPP-Net), Waterfall Spatial Pyramid Pooling (WSPP-Net) and Waterfall Atrous Spatial Pyramid Pooling (WASPP-Net). Model ini digunakan untuk membandingkan keberkesanan modul berbilang skala termasuk modul SPP, ASPP, rangkaian aliran terus dan air terjun. Seni bina yang dicadangkan diuji terhadap tiga pangkalan data terbuka: CASME II, SAMM dan SMIC. Untuk kesemua rangkaian yang diuji, kaedah pengoptimuman Adam, yang dimulakan dengan kadar pembelajaran 0.0001 digunakan untuk proses kemaskini parameter dengan jumlah maksimum epok sebanyak 500 kitaran, di mana prestasinya diukur melalui dua metrik iaitu kejituan dan Skor F1. Berdasarkan keputusan eksperimen, varian CNN yang dicadangkan dengan modul SPP diintegrasikan dengan lima cabang selari menggunakan aliran rangkaian terus yang ditempatkan selepas lapisan kedua menghasilkan prestasi cemerlang dengan nilai kejituan dan Skor F1 masing-masing sebanyak 79.74% dan 66.49%. Nilai prestasi yang dilaporkan merupakan nilai prestasi purata yang diuji terhadap set data gabungan daripada ketiga-tiga pangkalan data. Walau bagaimanapun, keputusan yang ditunjukkan oleh varian CNN yang menggunakan aliran rangkaian air terjun terhadap modul ASPP menghasilkan kejituan terbaik sebanyak 80.5% dan skor F1 sebanyak 70.75%. Kesimpulannya, kajian ini telah membangunkan beberapa seni bina CNN berprestasi baik untuk mengkelaskan emosi secara automatik berdasarkan isyarat riak wajah mikro.