Analisis sentimen tradisional umumnya hanya berfokus pada teks tulis (seperti ulasan produk atau cuitan media sosial). Namun, dalam era media digital modern, interaksi konsumen didominasi oleh format kaya media—seperti video ulasan di TikTok atau YouTube, pesan suara (voice notes), dan obrolan layanan pelanggan via telepon. Teks saja sering kali gagal menangkap emosi yang sebenarnya, seperti sarkasme, nada suara frustrasi, atau ekspresi wajah yang bertentangan dengan kata-kata yang diucapkan.
Menilai kepuasan pelanggan hanya dari teks transkrip dapat menghasilkan kesimpulan yang keliru dan keputusan bisnis yang salah sasaran.
Untuk mendapatkan pemahaman mendalam dan akurat mengenai emosi serta perilaku konsumen, industri mengadopsi Multimodal Sentiment Analysis.
Multimodal Sentiment Analysis adalah teknik pengolahan data berbasis AI yang menggabungkan dan menganalisis secara simultan tiga modalitas informasi sekaligus: Teks (bahasa natural), Audio (intonasi, nada, dan kecepatan suara), serta Visual (ekspresi wajah dan gestur tubuh).
Keunggulan dan skenario penerapan Multimodal Sentiment Analysis meliputi:
- Deteksi Sarkasme dan Emosi Tersembunyi: Mengetahui saat konsumen mengucapkan “Bagus sekali…” tetapi dengan nada suara ketus dan wajah kecewa.
- Analisis Layanan Pelanggan (Call Center AI): Menganalisis tingkat kepuasan atau frustrasi emosional penelepon secara real-time untuk mengarahkan panggilan secara otomatis ke agen manusia senior.
- Riset Pasar & Evaluasi Produk: Memahami respons emosional riil konsumen saat pertama kali melihat atau mencoba peluncuran produk baru melalui konten video unboxing.
- Personalisasi Pengalaman Pengguna: Menyesuaikan respons aplikasi atau asisten virtual secara dinamis berdasarkan suasana hati (mood) pengguna saat itu.
Di Jurusan Sistem Informasi Masoem University, konsep ini dipelajari pada mata kuliah Kecerdasan Buatan, Analytics Big Data, Pemrosesan Bahasa Alami (NLP), dan Computer Vision. Mahasiswa dididik untuk menguasai pengolahan data kompleks lintas modalitas.
Melalui praktikum di laboratorium komputer Masoem University, mahasiswa berlatih merancang model deep learning multimodal menggunakan Python dan kerangka kerja PyTorch untuk menganalisis emosi dari sampel video ulasan produk. Pembelajaran ini dijiwai oleh filosofi Pinter dan Bageur—menggabungkan keahlian algoritma AI canggih (Pinter) dengan empati, rasa peduli, dan pemahaman mendalam terhadap kebutuhan emosional sesama (Bageur).
Melalui penguasaan Multimodal Sentiment Analysis ini, lulusan Sistem Informasi Masoem University siap berkarir sebagai AI Data Scientist, Consumer Behavior Analyst, dan Multimodal AI Specialist.
