Membaca berita yang dilansir situs Detik.com sebagai berikut “Big Data: Si Canggih yang Belum Digemari di Asia” membuat saya tertarik untuk mengulasnya.
Big Data adalah teknologi data processing dan analytics yang cukup komplit untuk data yang terstruktur, semi-terstruktur bahkan juga non-terstruktur dalam jumlah yang besar dan kecepatan yang tinggi.
Arsitektur Big Data mendukung skalabilitas horizontal yang secara praktis hampir tidak terlimitasi dalam jumlah processor, memory dan storage. Bayangkan jika anda memiliki sistim komputasi dengan 8000 nodes cluster komoditi hardware dimana tiap node memiliki 2x cpu 8 core, 32 Gigabytes memory dan 16 Terrabytes disk. Relatif murah tetapi luar biasa powerful! Teknologi inilah yang dipakai oleh yahoo, facebook, flickr, tweeter, dan lain-lain.
Permasalahan yang umum ditemui adalah programming aplikasi agar bisa running dengan baik diatas teknologi ini, yang oleh Apache dinamakan Hadoop Map Reduce. Framework ini cukup membingungkan dan menyulitkan bagi banyak programmer belum lagi bila harus digunakan untuk menyelesaikan problem bisnis yang kompleks.
Kebutuhan Big Data di Indonesia:
Kebutuhan big data sudah diperlukan saat ini untuk keamanan negara dan juga untuk potensi penanganan layanan kesehatan nasional.atau jaminan sosial masyarakat.
Dari sisi kemaman negara, dengan meningkatnya penggunaan sosisl media secara terbuka, baik oleh prbadi bahkan oleh instansi pemerintah, instansi pemerintah harus bisa menjamin tidak ada kebocoran rahasia negara, akibat penggunaan media sosial.
Untuk peningkatan layanan kesehatan dan jaminan sosial, diperlukan pertukaran data dari semua WNI yang secara undang-undang akan terjamina layanan kesehatannya. Jaminan layanan kesehatan dan jaminan sosial yang baik, hanya bisa terlaksana kalau pengelolaan data dari semua stake holder (Masyarakat, Rumah Sakti, BPJS dan semua pihak) dapat dikelola dengan cepat dan tepat.
Hanya dengan teknologi BIG DATA layanan di atas bisa terjamin …
Namun tahukah kita bahwa satu perusahaan anak bangsa telah melakukan riset selama lebih dari 4 tahun untuk membuat perangkat yang menjembatani antara kompleksitas Map Reduce dan bisnis proses yang harus diimplementasikan. Tanpa melakukan atau hanya dengan minimal programming serta click and drag serta pembuatan workflow yang sangat mudah semua ini bisa diselesaikan dengan cepat, untuk proses non real time, real time bahkan in memory.
Alhasil perusahaan-perusahaan telekomunikasi lokal seperti Telkomsel, Indosat telah memanfaatkan teknologi ini selama bertahun-tahun untuk aplikasi data processing jumlah besar dalam waktu yg diharapkan, skalabilitas, cost efficiency, ketersediaan yang sangat baik. Cluster terbesar yang digunakan hampir mencapai 100 nodes saat ini dan masih berkembang terus.
Piranti lunak tersebut adalah HGrid untuk non real time processing, SGrid untuk real time processing dan event correlation serta HSpark untuk in memory processing.
Saat ini perusahaan LOKAL Indonesia tersebut sudah bisa menangani masalah ini dengan benar dan tidak tergantung kepada brand internasional yang ada. Perusahaan lokal ini SUDAH menangani BIG DATA khusus untuk pengolahan data-data pelanggan di bidang perbankan dan telekomunikasi. Data-data pelanggan diolah untuk kebutuhan pengembangan produk / layanan bukan untuk pelanggaran privasi pribadi pelanggan.