Dosen Universitas AMIKOM Yogyakarta meraih 19 pendanaan dari Kementerian Pendidikan Tinggi, Sains, dan Teknologi pada Tahun Anggaran 2026. Dari jumlah tersebut, salah satu proposal yang memperoleh pendanaan berasal dari Hanif Al Fatta, M.Kom., Ph.D. Dalam artikel khusus ini, @amikomjogja mengangkat proposal beliau yang memperoleh pendanaan pada Program Penelitian skema Fundamental Reguler, yakni:
“Pengembangan sistem lip reading berbasis AI untuk mendukung komunikasi penyandang gangguan pendengaran”.
Di tengah perkembangan teknologi kecerdasan artifisial, kebutuhan akan sistem yang lebih inklusif bagi penyandang disabilitas pendengaran menjadi semakin penting. Salah satu tantangan yang masih dihadapi adalah bagaimana membantu penyandang tuli memahami ucapan lawan bicara tanpa harus selalu bergantung pada teks tertulis atau pendamping. Dari kebutuhan itulah penelitian ini dikembangkan. Fokus utamanya adalah membangun model lip reading_ berbasis AI yang mampu membaca gerak bibir seseorang, lalu mengubahnya menjadi teks agar komunikasi bagi penyandang gangguan pendengaran dapat berlangsung lebih mudah dan lebih akurat.
Hanif menjelaskan bahwa gagasan penelitian ini berangkat dari pengalaman langsung saat mendampingi mahasiswa berkebutuhan khusus. Ia pernah memiliki mahasiswa berkebutuhan khusus yang merupakan penyandang tuli. Dari situ, ia melihat bahwa ada kemampuan tertentu yang dimiliki penyandang tuli, yaitu membaca gerak bibir lawan bicara. Pengalaman itu kemudian mendorongnya untuk menelusuri kemungkinan pengembangan sistem yang bisa melakukan hal serupa secara otomatis melalui teknologi AI.
“Akhirnya saya nyari itu, oh ternyata memang ada aplikasi yang bisa secara otomatis menterjemahkan gerak bibir seseorang ke dalam kata-kata, kemudian nanti dikonversi dalam bentuk teks,” ujarnya.
Menurut Hanif, tantangan utama penelitian ini terletak pada keterbatasan teknologi lip reading untuk bahasa Indonesia. Sejauh ini, pengembangan yang ada masih lebih banyak tersedia untuk bahasa asing, seperti bahasa Inggris dan bahasa Mandarin. Sementara untuk bahasa Indonesia, pemanfaatannya dinilai masih sangat terbatas dan umumnya baru mampu mengenali kata-kata tertentu. Karena itu, penelitian ini difokuskan untuk menghasilkan model yang lebih baik dalam membaca gerak bibir dan mengubahnya menjadi teks dengan tingkat akurasi yang lebih tinggi.
Secara sederhana, sistem lip reading yang dikembangkan dalam penelitian ini bekerja dengan cara merekam gerak bibir seseorang saat berbicara, lalu menerjemahkannya ke dalam bentuk kata-kata yang ditampilkan sebagai teks. Dengan pendekatan ini, penyandang tuli diharapkan dapat memahami isi pembicaraan meskipun tidak mendengar suara secara langsung. Dalam konteks yang lebih luas, teknologi seperti ini berpotensi membantu komunikasi sehari-hari, baik di lingkungan pendidikan, pekerjaan, maupun interaksi sosial yang lebih umum.
Ia menegaskan bahwa tujuan utama penelitian fundamental ini adalah menemukan model atau algoritma AI yang paling tepat untuk menerjemahkan video gerak bibir ke dalam teks. Dengan fondasi model yang kuat, hasil penelitian diharapkan dapat menjadi dasar bagi pengembangan penelitian terapan pada tahap berikutnya.
“Tujuan akhirnya cukup sampai pada menemukan model atau algoritma AI yang paling tepat untuk bisa mentranslasi video gerak bibir ke dalam teks,” kata Hanif
Yang membuat penelitian ini semakin penting adalah arah manfaat sosialnya yang jelas. Hanif menegaskan bahwa salah satu kekuatan proposal ini adalah kontribusinya terhadap peningkatan kualitas hidup masyarakat Indonesia, khususnya penyandang disabilitas tuli. Ia melihat bahwa penelitian ini tidak hanya penting secara akademik, tetapi juga kuat dari sisi kemanfaatan sosial karena berupaya membuka akses komunikasi yang lebih baik bagi kelompok yang selama ini masih menghadapi banyak hambatan.
“Salah satu tujuan penelitian ini karena mendukung Nawacita yang ke-5, yaitu meningkatkan kualitas hidup masyarakat Indonesia, dalam hal ini penyandang disabilitas tuli. Saya kira itu sih yang sebenarnya menjadi titik kuat dari proposal ini, jadi kemanfaatannya secara sosial banyak,” jelasnya.
Meski saat ini penelitian masih berada pada tahap pengembangan model, Hanif sudah menyiapkan arah lanjutan dalam peta jalannya. Jika model AI yang paling tepat berhasil diperoleh pada tahap fundamental ini, maka langkah berikutnya adalah mengembangkan prototipe berbasis aplikasi mobile. Nantinya, pengguna cukup mengarahkan kamera ponsel ke wajah orang yang sedang berbicara, lalu sistem akan menerjemahkan gerak bibir tersebut ke dalam bentuk teks secara otomatis. Setelah itu, pengembangan akan diarahkan ke uji coba yang lebih luas pada pengguna nyata, bahkan berpotensi diperluas dengan dukungan pembacaan bahasa isyarat.
“Kalau misalnya model itu sudah kita dapat, kita akan bikin prototype-nya, aplikasi yang basisnya mobile. Jadi nanti teman-teman penderita tuli itu tinggal instal aplikasi itu, kalau ada orang yang ngomong tinggal diarahkan aja kameranya ke wajah yang ngomong, nanti dia ngomong apa di aplikasinya dia sudah translate dalam bentuk teks,” kata Hanif
Selain membahas substansi penelitiannya, Hanif juga membagikan pandangannya tentang proses menyiapkan proposal penelitian. Menurutnya, kunci penting untuk bisa lolos pada skema seperti Fundamental Reguler adalah membaca banyak riset terbaru dari jurnal bereputasi, karena dari situlah peneliti bisa menemukan state of the art sekaligus kebaruan yang kuat. Ia menilai bahwa tanpa membaca penelitian-penelitian terbaru, akan sulit membangun proposal yang benar-benar relevan dan memiliki nilai kebaruan yang cukup kuat di mata reviewer.
Ia juga menekankan pentingnya kolaborasi dalam proses penulisan proposal. Menurutnya, proposal riset sebaiknya tidak dikerjakan sendirian. Setiap orang bisa mengambil peran sesuai kekuatannya, ada yang lebih kuat di kebaruan riset, ada yang lebih teliti di metodologi, dan ada yang lebih paham di perencanaan anggaran. Dengan kerja bersama seperti itu, kualitas proposal bisa menjadi lebih matang dan lebih siap bersaing.
“Kalau mau nulis proposal itu jangan sendiri. Carilah teman yang sudah pernah tembus proposalnya, minta saran, minta masukan, kemudian minta direvisi bersama-sama. Jangan dikerjakan sendiri semuanya,” ujarnya.
Keberhasilan proposal ini memperoleh pendanaan menunjukkan bahwa penelitian fundamental dapat tumbuh menjadi karya yang kuat secara akademik sekaligus relevan secara sosial. Melalui pengembangan sistem lip reading berbasis AI, Hanifmemperlihatkan bahwa teknologi tidak hanya bisa diarahkan untuk efisiensi atau otomatisasi, tetapi juga untuk memperkuat inklusi dan mendukung kualitas hidup masyarakat. Hal ini menegaskan satu hal penting: penelitian yang baik tidak hanya lahir dari kekuatan teori dan metode, tetapi juga dari kepekaan dalam melihat persoalan nyata dan keberanian untuk menghadirkan solusi yang bermanfaat bagi banyak orang.
Fadya RY – Direktorat Kehumasan dan Urusan Internasional
In Collaboration With Hanif Al Fatta
