Banyak organisasi enterprise yang beralih ke arsitektur Data Mesh untuk mendekosentralisasikan kepemilikan data ke masing-masing domain bisnis. Namun, jika pertukaran data antar-domain masih mengandalkan proses batching tradisional (seperti ETL harian), wawasan data yang dihasilkan tetap terlambat dan tidak responsif terhadap dinamika bisnis. Keputusan bisnis yang dibuat berdasarkan data kemarin berisiko membuat perusahaan kehilangan momentum pasar.
Keterlambatan pengolahan data terdesentralisasi membatasi kemampuan enterprise dalam merespons kejadian kritis secara instan.
Untuk menghadirkan wawasan data yang relevan pada detik kejadian berlangsung, enterprise memadukan prinsip Data Mesh dengan Event-Driven Architecture menggunakan Apache Kafka dan Apache Flink.
Event-Driven Data Mesh adalah arsitektur di mana setiap domain bisnis tidak hanya memiliki produk datanya sendiri, melainkan juga mempublikasikan dan memproses aliran data (data streams) secara real-time dan terdesentralisasi menggunakan mesin stream processing.
Komponen utama dan keunggulan arsitektur ini meliputi:
- Real-Time Stream Processing (Apache Flink): Memproses, menggabungkan (join), dan menganalisis aliran data yang bergerak secara kontinyu dengan latensi rendah dan jaminan stateful computation.
- Data Product as an Event Stream: Setiap domain (seperti domain transaksi atau domain logistik) menyajikan data produknya dalam bentuk event stream berstandar tinggi yang siap dikonsumsi domain lain.
- Low-Latency Event-Driven Analytics: Memungkinkan deteksi penipuan transaksi, penyesuaian harga dinamis, dan rekomendasi kontekstual dalam hitungan milidetik.
- Decoupled Data Pipeline Architecture: Setiap tim domain bebas merancang pipa pemrosesan datanya tanpa terikat pada hambatan data engineering terpusat.
Di Jurusan Sistem Informasi Masoem University, topik advanced data engineering ini dipelajari pada mata kuliah Rekayasa Big Data, Arsitektur Sistem Terdistribusi, dan Analytics Big Data. Mahasiswa dididik membangun pipa data berkecepatan tinggi berskala enterprise.
Melalui praktikum di laboratorium komputer Masoem University, mahasiswa berlatih merancang kueri streaming SQL pada Apache Flink yang terhubung dengan kluster Apache Kafka. Pembelajaran ini dijiwai oleh filosofi Pinter dan Cageur—mengasah kecerdasan rekayasa pemrosesan data real-time (Pinter) dibarengi kedisiplinan dan ketelitian dalam menjaga keandalan aliran data (Cageur).
Melalui penguasaan Event-Driven Data Mesh ini, lulusan Sistem Informasi Masoem University siap menempati posisi Real-Time Data Engineer, Data Mesh Architect, dan Stream Processing Specialist.
