Daftar Isi
Keterangan Resmi tentang Gangguan Layanan Rumahweb Indonesia
Pelanggan yang Terhormat,
Mulai tanggal 2 Desember 2021 pukul 12.30 WIB, telah terjadi gangguan pada sebagian besar layanan hosting dan VPS milik Rumahweb Indonesia. Gangguan ini disebabkan karena kebakaran yang terjadi di Gedung Cyber dimana kami meletakkan sebagian besar rak-rak server kami. Kebakaran terjadi di ruang Wing A CyberDC yang terdapat 72 buah server yang digunakan untuk layanan shared hosting dan VPS.
Situasi menjadi sulit bagi Rumahweb untuk melakukan recovery secepatnya karena core networking kami berada di ruangan terjadinya kebakaran tersebut. Sehingga meskipun kami memiliki backup data di lantai 3 (di datacenter DTP 3 - Gedung Cyber lt 3), kami tidak bisa mengaksesnya karena datacenter tersebut dimatikan aliran listriknya. Oleh karena itu prioritas kami hingga hari Jumat 3 Desember 2021 adalah memindahkan core networking di datacenter DTP Alpha (lantai 1) yang mana sebagian server kami juga berada di datacenter tersebut.
Pada hari itu juga, kami telah menyiapkan perangkat server-server baru di datacenter DTP TIFA. Dengan tujuan agar nantinya ketika core networking sudah bisa up and running, maka kami bisa memindahkan server yang menyimpan backup (di DTP 3) dan merestorenya ke server-server baru tersebut.
Pada tanggal 4 Desember 2021, saat kami akan mengeksekusi pemindahan server backup yang berada di Datacenter DTP 3 (lantai 3), ternyata ruangan tersebut disegel oleh Polisi sehingga kami tidak bisa lagi mengakses server backup tersebut. Kami juga belum tahu kapan segel police line tersebut akan dilepaskan sehingga kami kembali bisa mengakses server backup kami.
Jika ada layanan hosting dan VPS yang sudah up, itu berarti karena layanan hosting atau VPS tersebut menggunakan server yang berada di DTP Alpha, Neucentrix Yogyakarta, dan server-server dari DTP lantai 3 yang berhasil kami pindahkan ke datacenter milik PT. Qwords Company International. Selain itu, layanan yang sudah up sebagian adalah jika pelanggan memilih menggunakan Avertiz, yaitu layanan backup off-shore dari Rumahweb. Saat ini pelanggan pengguna Avertiz sedang dalam antrian proses restore.
Karena kondisi tersebut, kami tidak bisa memastikan kapan data backup dapat diakses kembali. Sehingga sebagai opsi, kami akan menawarkan setup akun baru tanpa data. Yang mana nantinya ketika data dapat diakses kembali, kami akan menghubungi pelanggan untuk memberikan opsi restore dari data yang sebelumnya. Kami menawarkan opsi tersebut agar pelanggan yang memiliki backup di lokasi lain dapat segera up kembali layanannya dan melakukan restore sendiri.
Kami mohon maaf sebesar-besarnya atas gangguan layanan yang terjadi. Saat ini kami sedang mengupayakan semua hal yang bisa dilakukan untuk secepatnya melakukan recovery. Termasuk melakukan upaya hukum agar police line segera dilepas oleh pihak berwajib dan kami dapat melakukan recovery sepenuhnya.
Jakarta, 4 Desember 2021
Yusuf Nurrachman
Direktur Utama
Update dan Langkah Penanganan Gangguan Datacenter
Pelanggan yang Terhormat,
Pada hari ini, tanggal 2 Desember 2021, terjadi kejadian force majeure yang berada di luar kuasa kami berupa kebakaran yang terjadi di salah satu data center yang kami gunakan yakni CyberDC (CDC) yang berlokasi di di lantai 2 Gedung Cyber 1. Efek dari kejadian ini kami rasakan pertama kali pada pukul 12:30.
Data center ini menjadi core networking kami dan colocation/tempat kami meletakkan beberapa server.
Di Indonesia, Rumahweb sebenarnya menggunakan beberapa data center lain yang digunakan untuk melayani pelanggan. Namun, karena data center yang menjadi lokasi core networking mengalami gangguan, akses ke server yang berada di data center lain pun ikut mengalami masalah.
Sebagai langkah penanganan, kami akan melakukan beberapa hal berikut:
- Memindahkan core networking ke data center existing yang lain sehingga sebagian pelanggan yang layanannya berada di datacenter tersebut bisa mulai digunakan kembali. Estimasi pekerjaan ini akan selesai pada hari Jumat 3 Desember 2021;
- Melakukan restore system portal pelanggan sehingga pelanggan dapat kembali mengelola layanannya. Estimasi pekerjaan ini akan selesai pada hari Jumat 3 Desember 2021;
- Pada data center Yogyakarta, kami akan berkoordinasi dengan upstream untuk dapat menggunakan network dan IP address mereka untuk sementara waktu sehingga layanan dapat segera digunakan kembali. Estimasi pekerjaan ini akan selesai pada hari Jumat 3 Desember 2021;
- Secara bertahap melakukan restore akun -yang sebelumnya berada pada server di data center yang mengalami gangguan- ke data center yang baru. Langkah ini baru dapat dilakukan setelah core networking dipindahkan. Belum ada estimasi khusus karena kami akan memproses berdasarkan prioritas dan antrian yang masuk. Pekerjaan ini akan dimulai pada hari Jumat 3 Desember 2021;
Sebagai informasi, backup data mingguan untuk layanan hosting berada di datacenter selain CDC sehingga proses recovery akun yang berada di CDC akan menggunakan backup tersebut.
UPDATE:
Saat ini, kami menawarkan kepada para pelanggan Rumahweb untuk setup akun baru tanpa data. Nantinya, ketika data dapat diakses kembali, kami akan menghubungi pelanggan untuk memberikan opsi restore dari data sebelumnya.
Jika pelanggan memilih opsi ini, mohon untuk mengirimkan request melalui email [email protected] dengan subject: Create Hosting Baru NamaDomainLengkap.
Kamis 2 Desember 2021
- 05.00: mengirimkan tim teknis tambahan ke Jakarta untuk proses recovery
- 23.00: datacenter Neucentrix Yogyakarta sudah berhasil direcovery menggunakan network cadangan. Layanan hosting yang menggunakan datacenter tersebut sudah up and running
Jumat 3 Desember 2021
- 04.30: Customer portal (ClientZone/clientzone.rumahweb.com) dan sistem Registrar sudah up kembali. Layanan pengelolaan domain sudah dapat diakses kembali oleh pelanggan.
- 14.00: Instalasi 3 buah rack baru di Datacenter TIFA telah selesai dilakukan.
- 16.00: Pembelian 25 server baru sudah diterima dan dipasang di Datacenter TIFA.
- 17.00: Pemindahan core networking dari Datacenter CyberDC (TKP utama) ke Datacenter DTP Alpha selesai. Layanan hosting yang menggunakan datacenter tersebut sudah up and running.
- 24.00: pemindahan 9 server dari Datacenter DTP 3 ke Datacenter Qwords selesai. Layanan hosting yang menggunakan server-server tersebut sudah up and running.
Sabtu 4 Desember 2021
- 14.00: Proses pemindahan server dari Datacenter DTP 3 ke Datacenter TIFA, Qwords, dan DTP Alpha terpaksa terhenti karena ruang datacenter DTP 3 disegel garis police line. Perlu diketahui yang sedang berusaha kami keluarkan adalah server-server backup. Pada server backup tersebut terdapat sekitar 80% data pelanggan yang tersimpan.
- 15.00: Proses administrasi pembelian rack baru di Datacenter DCI (Tier 4) telah diselesaikan oleh team finance, dilanjutkan oleh serah terima rack oleh team teknis
- Tim teknis melanjutkan instalasi server-server baru di Datacenter TIFA
- Karena kondisi server backup di Datacenter DTP 3 tidak dapat diakses secara fisik (disegel police line), Rumahweb mulai menawarkan create akun baru secara kosong. Sehingga pelanggan yang memiliki backup dapat mengupload kembali websitenya
- 22.00: team legal Rumahweb mendatangi Polres Metro Jaksel untuk melakukan negosiasi kepada Kepolisian agar dapat mengakses secara fisik ke ruang datacenter DTP 3. Pihak Kepolisian berjanji membantu, namun kami juga menghormati proses penyidikan yang sedang berlangsung.
Minggu, 5 Desember 2021
- Team legal Rumahweb terus berusaha bernegosiasi agar pihak Kepolisian dapat memberikan akses untuk pengambilan server backup.
- 17.00 - 23.45: mendampingi penyidikan dan pengambilan barang bukti.
- Meneruskan instalasi server-server baru.
Selasa, 7 Desember 2021
- Tadi malam pukul 00.00 tepat, Kepolisian telah mengijinkan Rumahweb untuk mengambil server dan sekitar pukul 01.00 total 15 server termasuk 3 backup server telah berhasil di ambil dan kami titipkan sementara di datacenter Qwords.
- Sekitar pukul 07.00, satu server backup telah berhasil dinyalakan dan saat ini sedang mulai proses recovery secara bertahap.
- Kedua backup server lainnya masih dalam proses administrasi untuk keluar gedung.
- Rencananya satu server backuo akan dibawa ke Datacenter TIFA dan satu lagi ke Datacenter DCI.
- Proses restore akan memprioritaskan customer-customer yang merupakan layanan publik krusial seperti rumah sakit, pemulihan bencana, sekolah, dll. Setelah itu kami akan memproses berdasarkan keluhan yang masuk, baru kemudian memproses secara keseluruhan.
- Total domain yang terdampak berkisar antara 150.000 - 200.000 website.
- Alhamdulillah semua data untuk layanan shared hosting dapat diselamatkan, kecuali account yang melanggar AUP space yang mana sesuai AUP memang dihentikan backupnya.
- Kabar baik lainnya adalah bahwa hari ini server Tunggal, Pradapa, Wisanggeni, Aswatama, dan Widura akan bisa dioperasikan lagi dalam beberapa menit kedepan. Pelanggan yang menggunakan server-server tersebut sudah bisa menggunakan kembali layanannya.
- Terima kasih atas kesabarannya ya Warga RW.
Kamis, 9 Desember 2021
- Pada tanggal 9 Desember 2021 sekitar pukul 02.00 dini hari, kami telah berhasil mengeluarkan sebanyak 72 unit server dan belasan perangkat networking kami dari Cyber Data Center (CDC) yang merupakan lokasi kebakaran;
- Server dalam kondisi rusak karena tertutup jelaga dan sebagian tersiram air dari pemadam kebakaran. Namun demikian kami telah cek ternyata hingga newsletter ini dikirimkan, kami baru menemukan satu disk yang tidak dapat diselamatkan. Sisanya dalam kondisi baik;
- Yang tengah kami lakukan sekarang adalah melanjutkan restore menggunakan data dari server backup sambil menyalakan kembali hardisk-hardisk yang sudah dinyatakann dalam kondisi baik sehingga proses recovery lebih cepat. Bagi pelanggan yang telah selesai dilakukan restore menggunakan data dari server backup, kami akan notifikasi apabila data termutakhirnya telah berhasil live sehingga memiliki opsi untuk menggunakan data terakhir atau menggunakan data dari server backup.
- IP address yang menjadi destinasi restore adalah IP yang berbeda sehingga kemungkinan apabila Anda menggunakan nameserver di luar Rumahweb, Anda harus mengarahkan record domain Anda sendiri. Informasi IP Address dapat dilihat di cPanel Anda.
- Posisi recovery layanan shared hosting hingga tanggal 9 Desember 2021 pukul 11:59:
- 62 server up & running
- 2 server sedang dilakukan restore
- 52 server masih down
- Kemungkinan apabila Anda menggunakan nameserver di luar Rumahweb, Anda harus mengarahkan record domain Anda sendiri. Informasi IP Address dapat dilihat di cPanel Anda.
Selasa, 14 Desember 2021
Update progres recovery layanan hingga hari ini:
- 118 server up & running
- 5 on progress restoring
Statusnya kami update secara live di: https://tinyurl.com/rwrecovery. Sebagai informasi, kami tidak akan memberitahukan kepada satu per satu pelanggan untuk menginformasikan status server sehingga pelanggan kami persilahkan untuk memantau melalui URL di atas.
Sebagai informasi, hingga saat ini incoming request untuk technical support masih sangat padat sehingga kemungkinan pelanggan tidak terlayani dengan baik dan menunggu lama untuk direspon permintaan dukungan teknisnya. Untuk itu kami mohon maaf yang sebesar-besarnya.
Kami juga telah membuat ringkasan pertanyaan-pertanyaan yang paling sering ditanyakan pelanggan pada masa-masa insiden ini. Ringkasan pertanyaan - pertanyaan tersebut dapat dibaca di: https://tinyurl.com/rwrecoveryfaq
Dikarenakan masih dalam masa recovery, berikut adalah beberapa masalah yang mungkin timbul:
- Karena pergantian IP address untuk layanan shared hosting, beberapa pelanggan akan mengalami masalah sebagai berikut:
- Butuh waktu propagasi DNS sekitar 30-120 menit (tergantung ISP yang digunakan pelanggan) dari mulai server up hingga website bisa diakses kembali;
- Beberapa SSL yang terinstall akan mengalami masalah karena record DNSnya berubah. Butuh waktu sedikit lebih lama untuk memulihkan SSL, kisarannya sekitar 1-6 jam;
- Bagi yang tidak menggunakan Nameserver hosting Rumahweb (ns1.rumahweb.com, ns2.rumahweb.com, ns3.rumahweb.net, ns4.rumahweb.net), dimohon untuk mengupdate record DNS dengan mengarahkannya ke IP server baru yang digunakan. Informasi mengenai IP address terdapat di cPanel yang sudah dapat diakses kembali;
- Dalam masa-masa pemulihan ini kami sangat menyarankan kepada Anda untuk menggunakan nameserver Rumahweb dan mengcreate record-record lain yang dibutuhkan di nameserver tersebut
- Untuk pelanggan yang selama insiden ini memilih untuk membuat akun baru atau diprioritaskan restorenya dan kemudian ingin kembali menggunakan server yang lama, kami akan antrikan permintaannya dan memprosesnya sesuai antrian.
- Untuk sementara, kami tidak menerima request sinkronisasi data di dalam akun hosting antara server lama dan server baru karena memakan waktu dan resiko data tertimpa sangat besar. Solusi yang bisa ditempuh adalah :
- Pelanggan membackup data di akun yang dibuat di server baru
- Pelanggan meminta pengaktifan kembali akun di server lama
- Pelanggan memindahkan sendiri datanya dari backup yang telah dibuat di point a
Kami memahami bahwa kejadian ini berdampak besar pada banyak website/sistem/aplikasi/emails yang menggunakan layanan dari kami. Oleh karena itu, kami tetap menyiagakan staff support kami untuk merespon pertanyaan maupun permintaan dari Anda terutama yang berkaitan dengan musibah ini.
Sekali lagi, kami mohon maaf atas gangguan layanan yang terjadi akibat kejadian ini.