Pengekstrakan teks berasaskan peraturan bagi penambahbaikan graf pengetahuan untuk pemahaman imej

Abstract

Penyelidikan sebelum ini telah mengintegrasikan maklumat teks dengan tugas visual. Walau bagaimanapun, beberapa penambahbaikan masih boleh dibuat kerana masih terdapat penyelidikan yang mengabaikan pengetahuan latar belakang luas yang hanya boleh disokong oleh maklumat teks bagi imej. Graf pengetahuan (GP) adalah teknik yang sesuai yang boleh dilaksanakan untuk mengesktrak pengetahuan dan mengubah teks yang tidak berstruktur menjadi lebih berstruktur . Juga, mampu menggambarkan hubungan antara teks. Untuk turut sertakan hubungan antara imej dan teks, GP multimodal dicadangkan. Penyelidik lain yang telah membina GP multimodal dalam penyelidikan mereka hanya memberi tumpuan kepada proses visual lanjutan untuk mengekstrak entiti dan hubungan dari imej dan hanya menggunakan kaedah pemprosesan teks yang ringkas dan mudah. Contohnya, teknik tokenisasi dan penandaan part-of-speech (POS) yang hanya mengekstrak kata nama dalam teks. Secara tidak langsung mengabaikan maklumat lain yang kaya dalam teks itu sendiri. Oleh itu, pendekatan yang dicadangkan ini cuba menangani masalah tersebut dengan mengesktrak secara sepenuhnya maklumat sedia ada dalam membina GP multimodal. Seterusnya, GP ini dapat dijadikan sebagai latihan bagi tugas visual. Sebelum membina GP multimodal, rangkap tiga (yang terdiri daripada dua entiti dan satu hubungan yang menghubung kedua entiti tersebut) perlu dikenal pasti dan diekstrak terlebih dahulu. Kaedah ini dilakukan dengan menentukan peraturan pengekstrakan entiti dan hubungan berdasarkan penandaan POS dan kebergantungan tatabahasa. Pengekstrak rangkap tiga berdasarkan peraturan ini dibangunkan untuk mengekstrak rangkap tiga dari set data laman web berita dan mengisi GP multimodal yang dicadangkan. Kemudian, pencapaian pengekstrak rangkap tiga dinilai menggunakan formula ketepatan (Precision) dan perolehan kembali (Recall). Hasilnya, pendekatan yang dicadangkan ini dapat mengekstrak entiti dan hubungan yang wujud dalam set data dengan skor ketepatan 0.90 dan skor perolehan kembali 0.60. Namun, beberapa penambahbaikan masih dapat dilakukan terhadap peraturan pengekstrakan untuk menangkap semua pengetahuan.