Wpływ Igrzysk Olimpijskich Ruch Internetowy

Refleksje na temat awarii

Navigating Infrastructure Outages: Battle Scars and Lessons Learned

I’ve worked on numerous outages, each teaching me invaluable lessons. Inspired by Rogers’ recent outage report, I wrote down some of my lessons learned.

Andree's MusingsAndree Toonk

W świecie inżynierii sieciowej, awarie są nieuniknionym elementem naszej rzeczywistości. Andree Toonk posiadając doświadczenie w operacjach infrastrukturalnych, szczególnie w kontekście chmur, ma wiele cennych lekcji do przekazania.

Awaria kanadyjskiego ISP - Rogers

Podczas zaplanowanej konserwacji, pracownicy Rogersa usunęli politykę routingu sieciowego. Spowodowało to zalanie tras (BGP lub OSPF/ISIS), co przeciążyło control plane i doprowadziło do awarii rdzeniowych routerów. W tym przypadku awaria dotknęła również sieci OOB (out-of-band), a samo przeciążenie control plane uniemożliwiało zarządzanie siecią.

Awaria taka jak ta, jest zawsze stresującym doświadczeniem. Powinna skłonić organizacje do przeprowadzenia retrospektywy, identyfikacji przyczyn i wyciągnięcia wniosków. Warto zaznaczyć, że określenie "ludzki błąd" jako głównej przyczyny jest zbyt uproszczone. Takie zdarzenia często mają wiele współczynników przyczynowych.

Czy możemy wyeliminować awarie?

Cel całkowitej eliminacji awarii jest ambitny. Możemy minimalizować ryzyko wystąpienia awarii, ale nie wyeliminujemy ich całkowicie. Zamiast tego, lepiej skupić się na ograniczeniu ich wpływu i długości.

Jakie lekcje możemy wyciągnąć z tej awarii?

Czas wykrycia - Bądź pierwszym, który się dowie!

Odpowiedni monitoringu pozwala szybciej wykrywać problemy. Wiele retrospektyw zawiera punkt "więcej monitorowania", co sugeruje, że często pomijamy kluczowe metryki. Polecam syntetyczne monitorowanie dostępności, które imituje typowe doświadczenia użytkowników. To może być prosty ping lub test HTTP, ale pozwala na szybsze wykrycie problemu.

Ogranicz zasięg awarii

Jak możemy zminimalizować skutki awarii? Przykład Rogersa pokazuje, że jedna zmiana może zniszczyć całą sieć. Zastosowanie logicznego oddzielenia funkcjonalnego lub geograficznego może temu zapobiec. Providerzy chmurowi, jak AWS, zachęcają do myślenia o multi-AZ lub multi-region.

Dostęp do zarządzania

Utrata dostępu do zarządzania podczas awarii jest koszmarnym scenariuszem. Ważne jest, aby zapewnić izolowany dostęp OOB, niezależny od sieci produkcyjnej. Inwestycja w to może skrócić czas przestoju.

Scenariusze rollback

Dobrą praktyką jest posiadanie możliwości szybkiego przywrócenia zmian do znanego stanu. Niezależnie od tego, czy używasz Cisco IOS, czy Juniper, upewnij się, że masz mechanizmy rollback w swoim zespole.

Kultura zespołowa - Nie bądź bohaterem

Ważne jest budowanie zespołowej kultury, gdzie każdy może się zaangażować w sytuacjach kryzysowych. Nie bój się wzywać kolegów z pracy w trudnych momentach. Współpraca jest kluczem do szybkiego rozwiązania problemów.

Zwiększenie wydajności ZeroTier

Chasing Performance in ZeroTier - VyOS on Minisforum - Level Zero Networking

I’ve done a lot of posts featuring ZeroTier in this Blog. There’s a lot of different overlay solutions that I could feature. There’s ZeroTier, Tailscale, NetBird, Nebula, TwinGate…just to name a few. The reason I feature ZeroTier so heavily is it is uniquely suited for site-to-site networking over the different offerings. This is because it […]

Level Zero NetworkingR C

W dzisiejszych czasach, gdy zdalne połączenia są normą, wybór odpowiedniego rozwiązania do wirtualizacji sieci ma kluczowe znaczenie. ZeroTier, jako jedna z wielu dostępnych platform, wyróżnia się unikalnym podejściem do łączenia sieci. W tym artykule skupimy się na zwiększeniu wydajności ZeroTier, porównując go z innymi rozwiązaniami VPN, takimi jak WireGuard, OpenVPN i IPsec.

Dlaczego ZeroTier?

ZeroTier tworzy wirtualną sieć LAN, co pozwala na prostsze zarządzanie i integrację w porównaniu do innych rozwiązań, które często opierają się na topologii punkt-punkt. To sprawia, że inżynierowie sieciowi mogą traktować ZeroTier jak każdą inną segmentację LAN, co znacząco upraszcza ich pracę.

Wydajność ZeroTier

Chociaż wiele osób chwali ZeroTier za jego funkcje, to jego wydajność w porównaniu do WireGuard i IPsec pozostaje na niższym poziomie. Pomimo, że typowa wydajność ZeroTier nie jest zła, zazwyczaj nie dorównuje WireGuard, który potrafi maksymalizować prędkości do 1 Gbps nawet na tanim sprzęcie.

ZeroTier jest stosunkowo młodym produktem w porównaniu do WireGuard. Twórcy ZeroTier skupili się na funkcjonalności, a nie na wydajności. Z tego powodu ZeroTier ma ograniczenia w wielowątkowości, podczas gdy WireGuard jest zoptymalizowany pod kątem korzystania z wielu rdzeni procesora.

Budowanie dowodu koncepcji – Sprzęt

Aby przeprowadzić testy, autor bloga zdecydował się na zakup dwóch mini PC o identycznych specyfikacjach. Wybór padł na model Minisforum GK41 z czterema rdzeniami i dwoma interfejsami sieciowymi. Koszt dwóch takich urządzeń wyniósł około 120 USD każde.

Budowanie dowodu koncepcji – Oprogramowanie

Do testów wykorzystam system operacyjny VyOS. Zainstaluję WireGuard, VTI IPsec i OpenVPN bezpośrednio w VyOS, natomiast ZeroTier zainstaluję w kontenerach.

Wstępne testy

Przeprowadzam testy, aby ustalić maksymalną przepustowość bez szyfrowania:

• Bezpośrednie połączenie: 941 Mbit/s
• WireGuard: 856 Mbit/s
• IPsec: 803 Mbit/s
• OpenVPN: 274 Mbit/s
• ZeroTier: 541 Mbit/s

Aby zwiększyć wydajność ZeroTier, autor testu postanowił uruchomić wiele instancji VyOS z ZeroTier na jednym urządzeniu. Dzięki kontenerom można to zrobić łatwo i efektywnie. Każda instancja będzie nasłuchiwać na innym porcie.

Testy z równoważeniem obciążenia

Wyniki testy z różną liczbą rdzeni:

• 1 rdzeń: 441 Mbit/s
• 2 rdzenie: 864 Mbit/s
• 3 rdzenie: 1.45 Gbit/s
• 4 rdzenie: 1.93 Gbit/s

Ostatecznie uzyskanano prawie 2 Gbps z ZeroTier, co jest imponującym wynikiem.

Dalsze testy

Po przeniesieniu konfiguracji z GK41 do MS-01 i uruchomieniu sześciu instancji ZeroTier, wyniki wyglądały następująco:

• ZeroTier (bez szyfrowania): 9.35 Gbit/s
• ZeroTier (2 rdzenie): 8.38 Gbit/s
• ZeroTier (6 rdzeni): 18.9 Gbit/s

Dzięki zwiększonej liczbie rdzeni i lepszemu sprzętowi osiągnęliśmy niemal maksymalną przepustowość.

Zwiększanie wydajności ZeroTier poprzez wykorzystanie wielu instancji i równoważenie obciążenia pokazuje jego potencjał jako rozwiązania sieciowego. Pomimo obecnych ograniczeń w wielowątkowości, ZeroTier może osiągać imponujące wyniki dzięki odpowiedniej konfiguracji i sprzętowi. W miarę postępu prac nad rozwojem ZeroTier możemy spodziewać się dalszych usprawnień w wydajności.

System skalowalnej zapory sieciowej 1Tbps MX304/SRX4600

Operating 1Tbps MX304/SRX4600 firewall scale-out system

Focusing on SRX firewall – the scaled out device - operational aspects in terms of removing device from service and bringing it back.

Juniper Networks

Artykuł omawia operacyjne aspekty stosowania zapory SRX koncentrując się na mechanizmie Auto-FBF (Automated Failover for Firewalls). Opisuje sposób, w jaki można przeprowadzać konserwację urządzeń SRX4600 bez wpływu na ruch subskrybentów oraz zarządzać ich wydajnością i dostępnością.

Podstawy REST API

What is a REST API? Fundamentals for Network Engineers -

A REST API is an interface or gate, developed taking into account agreements and restrictions defined by the HTTP protocol…

Coding Networks BlogMichael Alvarez

Artykuł omawia podstawy REST API, jego znaczenie oraz zasady działania. REST API stało się popularnym narzędziem w automatyzacji sieciowej, umożliwiającym komunikację i integrację aplikacji. Zawiera definicje kluczowych pojęć, takich jak zasoby, identyfikatory URI oraz operacje CRUD, a także wyjaśnia zasady projektowania i bezpieczeństwa API.