Regarding server downtime yesterday

At about 4PM yesterday, 18th June 2008, one of our most populated server has gone down for the longest period we have ever experienced. The server went down from 4PM until 11PM. It was brought back online 7 hours later since it first lost access to the Internet. We are very sorry for the trouble that has been brought during this long downtime but the problem yesterday was unavoidable and took much of our time to be restored.

What happened was there was initially a slight problem in the datacenter networks which required the datacenter team to temporarily unplug the servers in one of their section. And unfortunately, our server is affected and our cable plug was being disconnected. The real problem happened when they plugged back our server few minutes later and rebooted our server, by which the server returned the following error during the restart:

———————————————————
Cheking root filesystem
/dev/md1 contains a file system with errors, check forced
/dev/md1 : ===
———————————————————

The server was rebooted/restarted many times to no avail, the same error message keep on showing and the reboot keeps on failing. Apparently, the filesystem was corrupted, possibly due to the sudden reboot. Therefore, we decided to travel to the datacenter at 6 o’clock which is located in Cyberjaya and spent the next several exhausting hours trying to fix and restore the filesystem.

At 11PM, we managed to bring back the server online.

For those who are deeply affected by yesterday’s downtime, we would like to extend our sincere apology for the unexpected downtime which has also affected us ourselves. We have did our best to bring back the server online even though it took us a few hours to fully restore the server.

Share and Enjoy: These icons link to social bookmarking sites where readers can share and discover new web pages.
  • Digg
  • del.icio.us
  • MisterWong
  • BlinkList
  • StumbleUpon


9 Responses to “Regarding server downtime yesterday”

  1. Muhaimi Tusiman Says:

    Thanks a lot for you immediate action. Wish this problem won’t be happen again and again….

    Cheers!

  2. Namsahaz Team Says:

    We appreciate your patience and support :)

  3. wan Says:

    Salam.. saya mengambil kesempatan utk mengucapkan terima kasih atas usaha pihak team support memastikan server dapat pulih spt sedia kala. Memang agak kecewa memandangkan domain saya semua dihostkan dgn namsahaz, jadi semuanya jem dan tak dapat buat apa2, sementelahan pula pelawat sentiasa datang..

    Memang hari ni agak terjejas sedikit jumlah pelawat memandangkan tidak dapat hendak umum apa2 sebelum problem berlaku :( .. maklumlah EURO tengah hangat :)
    Tak dapat dinafikan masalah memang di luar kawalan team namsahaz, namun saya harap.. apa2 perkembangan pun sepatutnya perlulah dimaklumkan kepada customer.. saya tak tahu orang lain.. tapi saya hanya mengetahui masalah berlaku selepas saya hantar e-mail (maknanya kalau saya tak hantar email saya tak apa masalah yg berlaku).

    Saya berkata demikian kerana rakan saya mengadu blognya tidak dapat diakses (itupun dah malam, sedangkan masalah sejak ptg lagi).. selepas saya memberitahu barulah dia faham.

    Memanglah kesabaran amat perlu dalam hal spt ini.. tetapi pihak team namsahaz perlu mengambil kira laman web atau blog yang mempunyai bilangan pelawat yang ramai dan sentiasa keluar masuk.. kerana ia turut menjejaskan kepada laman berkenaan di mata pelawat.

    Bagaimanapun saya tetap berterima kasih kepada team namsahaz atas usaha keras mereka memastikan masalah dapat diselesaikan (memang setakat ini team namsahaz tidak pernah mengecewakan saya), cuma sejak akhir2 ini laman web dan blog saya sentiasa terganggu.

    Syabas team namsahaz dan terima kasih sekali lagi.. :)

  4. Namsahaz Team Says:

    Terima kasih di atas luahan pendapat anda dan kesabaran anda sepanjang masalah ini berlaku.

    Kami sekarang di dalam proses untuk memindahkan aplikasi web Namsahaz ke dalam satu dedicated server lain agar pengguna akan sentiasa dapat akses ke blog Namsahaz atau page support Namsahaz untuk mendapatkan update sekiranya sesuatu berlaku ke atas server yang anda gunakan. ;)

  5. kaycand Says:

    Salam.. saya mengambil kesempatan utk mengucapkan terima kasih atas usaha pihak team support memastikan server dapat pulih spt sedia kala.

    Syabas team namsahaz dan terima kasih sekali lagi.. :)

  6. maen Says:

    saya mengetahui problem ini bila hendak post artikel di dalam blog saya. Kemudian, sebelah malam saya lihat sudah kembali seperti biasa. Terima kasih sebab cepat memperbetulkan server anda. Tak wasangka saya memilih namsahaz sebagai hosting saya. Terima kasih

  7. menteil Says:

    terima kasih atas usaha pihak namsahaz..
    mulanya risau juga.. tapi semua masalah ini dah selesai.. semoga masalah nie tak kan berulang..

  8. Firdaus Says:

    hope lepas ni perkara sebegini tidak berlaku lagi.. :)

  9. wan Says:

    nampaknya down lagi.. tapi kali ini masa lebih panjang (3 hari)..

    Malangnya pihak Namsahaz belum ada usaha untuk memindahkan aplikasi web Namsahaz ke dalam satu dedicated server lain agar pengguna akan sentiasa dapat akses ke blog Namsahaz atau page support Namsahaz untuk mendapatkan update sekiranya sesuatu berlaku ke atas server yang digunakan client.

    seperti kes terbaru ini.. bermakna Namsahaz terus gagal menghubungi customer untuk memaklumkan perkembangan terkini.. Bagi saya tempoh 3 hari adalah terlalu lama untuk customer terus menanti tanpa mengetahui apa-apa perkembangan yang berlaku..

    Jadi sampai bila cadangan untuk pemindahan aplikasi web Namsahaz terlaksana? saya bimbang masalah ini akan terus berlaku dan customer akan terus kecewa dan dikecewakan..

    Walau apa pun saya ucapkan terima kasih atas usaha penat team support yang bertungkus lumus memulihkan kembali keadaan seperti sedia kala..

    Saya juga bersimpati dengan keadaan yang berlaku ini, tidak dapat dibayangkan kegigihan mereka mengembalikan kepercayaan para pengguna

    Semoga menjadi pengajaran..

Leave a Comment