Awaria zasilania w LIM (Marriott) – problemy z PLIX i AC-X.

W piątek, 14 maja 2010 roku w jednym budynku we Warszawie, we wieżowcu LIM (który potocznie nazywany jest Marriottem) wystąpiła awaria zasilania. Efektem tego wydaje się dość lokalnego zdarzenia odczuł cały polski Internet. O wydarzeniu pisał Onet i TVN Warszawa. Wydarzenie nie uszło uwadze także redaktorom TVN CNBC Biznes. Wiele internautów raportowało o problemie z dostępem do szeregu stron i usług. Przez długi czas nie był dostępny między innymi PLIX. Olbrzymie problemy miał także operator ATMAN. Poniżej postaram się zaprezentować przebieg wydarzeń z owego pechowego dnia z perspektywy jednej z łódzkich sieci.

O godzinie 12:24 feralnego piątku NOC operatora ATMAN informuje, że od godziny 12:19 we wieżowcu LIM we Warszawie nie ma prądu. W budynku zlokalizowanych jest sporo punktów krytycznych dla prawidłowego funkcjonowania dużej liczby polskich operatorów. Na liście najemców znaleźć można chociażby takie firmy, jak: ATM, GTS ENERGIS, NETIA, PLIX. W samym budynku obecni są także praktycznie wszyscy inni znaczący polscy operatorzy, w tym Telekomunikacja Polska, Exatel, Crowley, UPS itd. Nie od dziś wiadomo już, że w budynku jest problem z zapewnieniem gwarantowanego zasilania. Można się było już o tym przekonać np. 19 października minionego roku. Pozostało więc czekać na informację o przywróceniu zasilania, bądź na nieuniknione następstwa dalszego jego braku.

Od godziny 12:31 zaczynają być zauważalne drobne nieprawidłowości w komunikacji za pośrednictwem AC-X OpenPeering.PL. Godzina 13:22 przynosi ze sobą brak dostępności wszystkich usług ATMANa (AC-X w L2 i L3, ATM BI). Dokładnie w tej samej minucie dociera komunikat z NOC ATM informujący o rozładowaniu UPSów ATMANa w LIMie. Termin usunięcia usterki zasilania określany jest jako nieznany. BGP szaleje przeliczając trasy.

Kilka minut później, o godzinie 13:26, następuje poprawa sytuacji. Powraca komunikacja w ramach ATM BI, oraz AC-X Transit.PL. Dalej leżą oba route serwery z którymi zestawiane są sesje BGP w ramach OpenPeering.PL. Zmienia się to dokładnie 3 minuty później, kiedy to osiągalny zaczyna być rs1.atman.pl i ruter łączący AC-Xa z PLIXem. O 14:07 do grona dostępnych hostów dołącza rs2.atman.pl. Przez cały czas faluje liczba dostępnych prefiksów w ramach OpenPeering.PL.

O godzinie 14:19 niektóre prefixy dalej nie osiągalnych bezpośrednio za pośrednictwem AC-X, zaczynają być osiągalne poprzez trasę PLIX->AC-X. W okolicach 14:30 wszystko wydaje się wracać do normy. Rośnie liczba prefixów dostępnych bezpośrednio przez AC-X. W przeciągu kolejnych godzin zdarzają się gorsze i lepsze momenty dla wspomnianych usług. Sytuacja wydaje się stabilizować w okolicach godziny 16:00, ale dalej brak oficjalnej informacji potwierdzającej rozwiązanie problemu.

Kilka minut przed godziną 18:00 ATM informuje klientów usługi BI, że od 13:00 do 15:20 mogli obserwować problem w rutingiem do i z zasobów TPNET. Przyczyną takiego stanu rzeczy miało być nieprawidłowe działanie, uruchomionej w związku z awarią zasilania w LIM, ścieżki zapasowej do TP. Kolejna informacja od ATManowej NOCy dociera godzinę później. Zgodnie z jej treścią, problemy z zasilaniem w LIM występowały od godziny 12:20 do 16:50. Komunikat zawiera także informację, iż nie wszystkie problemy z zasilaniem zostały do końca rozwiązane i że prace trwają.

W trakcie awari przez długi czas niedostępny był także węzeł wymiany ruchy PLIX. Sylwestera Biernackiego, prezes PLIX Sp. z o.o., w swych wyjaśnieniach podaje, iż co prawda ich agregat pracował, ale zasilał jedynie urządzenia znajdujące się na pierwszym piętrze. Te ulokowane na piętrze 42 zasilane były przez UPSy, które rozładowały się ok. 12:30. PLIX ma podobno przygotowane dodatkowe UPSy, ale tym razem nie można było ich dostarczyć na 42 piętro budynku z powodu niedziałania wind. Sylwester Biernacki poinformował także, iż w związku z zaistniała sytuacją zarząd PLIX podjął decyzję o uruchomieniu drugiego węzła – PLIX2 – poza LIMem, najprawdopodobniej w Telehouse.Poland. Ma to nastąpić już 1 czerwca.

Bardzo ciekawa i pouczająca dyskusja na temat tego zdarzenia toczyła się na pl.internet.polip. Wszystko wskazuje na to, że problemy z zasilaniem to nie jedyna bolączka wieżowca LIM. Okazuje się, iż pomieszczenia budynku, także te, w których znajdują się np. urządzenia PLIXa, wyposażone są w system gaszenia… wodą!

Jedna odpowiedź do “Awaria zasilania w LIM (Marriott) – problemy z PLIX i AC-X.”

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *


*