📬 ISN 199: Nowe Zagrożenia AI, AWS NAT Gateway i Szybsze Rozwiązywanie Problemów z LLDP i STP!

Nowe zagrożenie ze strony AI

Współczesne środowisko sieciowe staje przed nowym wyzwaniem. AI-powered crawlery, takie jak te używane przez Perplexity, rozwijają coraz bardziej wyrafinowane techniki omijania tradycyjnych mechanizmów ochrony.

Cloudflare zidentyfikował niepokojące wzorce zachowań crawlerów Perplexity. System ten nie tylko ignoruje dyrektywy robots.txt, ale aktywnie maskuje swoją tożsamość po zablokowaniu oficjalnych user-agentów.

Perplexity wykorzystuje dwa różne podejścia do crawlingu:

Oficjalny crawler:

User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Wolumen: 20-25 milionów żądań dziennie
Zadeklarowane zakresy IP

Ukryty crawler:

User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36
Wolumen: 3-6 milionów żądań dziennie
Rotacja IP poza zadeklarowanymi zakresami

W celu ominięcia restrykcji system crawlerów stosuje kilka zaawansowanych metod:

Rotacja ASN - przełączanie między różnymi numerami systemów autonomicznych
Maskowanie user-agenta - imitacja standardowych przeglądarek
Ignorowanie robots.txt - kontynuacja crawlingu mimo jawnych zakazów
Distributed crawling - rozproszenie ruchu przez różne infrastruktury

Zespół Cloudflare przeprowadził kontrolowane testy wykorzystując świeżo zarejestrowane domeny:

User-agent: *
Disallow: /

Mimo jednoznacznych dyrektyw blokujących, Perplexity nadal dostarczała szczegółowe informacje o zawartości chronionych stron. To potwierdza skuteczność technik omijania stosowanych przez system.

Jak sobie radzićz takimi crawlerami? Współczesne rozwiązania wymagają:

Machine Learning Detection - analiza wzorców behawioralnych
Network Fingerprinting - identyfikacja na podstawie charakterystyk sieciowych
Challenge-Response Systems - weryfikacja legitymności żądań
Real-time Adaptation - dynamiczne dostosowanie reguł

Zalecane ustawienia dla ochrony przed ukrytymi crawlerami:

# Przykład reguły Cloudflare
(http.user_agent contains "Chrome/124.0.0.0" and 
 cf.bot_management.score lt 30 and
 ip.src in $suspicious_ranges)

Dlaczego każdy inżynier sieci powinien hostować sondę?

RIPE Atlas to globalna, otwarta, rozproszona platforma pomiarowa Internetu, składająca się z tysięcy urządzeń pomiarowych, które mierzą łączność internetową w czasie rzeczywistym. RIPE Atlas został utworzony w 2010 roku przez RIPE Network Coordination Centre (NCC) i rozwinął się w coś niezwykłego: około 12 000 sond i ponad 800 kotwic na całym świecie.

Wyobraź to sobie jako system nerwowy Internetu. Te urządzenia nieustannie sprawdzają puls globalnej łączności - mierzą opóźnienia, śledzą trasy, sprawdzają rozwiązywanie DNS i monitorują dostępność. Rezultat? Bezprecedensowy widok na to, jak Internet rzeczywiście działa, w czasie rzeczywistym, z tysięcy punktów obserwacyjnych.

Koncepcja jest elegancko prosta: wolontariusze hostują małe urządzenia pomiarowe, które nieprzerwanie monitorują wydajność Internetu. W zamian otrzymują kredyty do przeprowadzania własnych pomiarów z tej globalnej sieci. To piękny przykład zbiorowej inteligencji w działaniu.

Jeśli kiedykolwiek musieliście rozwiązywać problem z łącznością i marzyliście o posiadaniu "oczu" w różnych częściach świata, RIPE Atlas to wasza odpowiedź. Platforma zapewnia wszechstronne API, które pozwala zintegrować dane pomiarowe z istniejącymi systemami monitorowania i alertów. Możecie zaplanować pomiary ping z tysięcy sond na całym świecie, aby spojrzeć na swoją sieć z zewnątrz.

Oto kilka rzeczywistych scenariuszy:

Otrzymujecie raporty o przerywanych połączeniach od użytkowników i musicie zrozumieć, czy problem jest lokalny, regionalny czy globalny? Z RIPE Atlas możecie szybko zaplanować pomiary z sond na całym świecie, aby zobaczyć dokładnie, gdzie leży problem.
Planujecie zmianę dostawcy DNS? Przetestujcie czasy rozwiązywania z różnych regionów przed przełączeniem.
Oceniacie nowego dostawcę CDN lub transit? Porównajcie metryki wydajności z tysięcy punktów obserwacyjnych.
W przypadku problemów z routingiem możecie wybrać sondy według AS, aby zrozumieć, czy problemy są specyficzne dla sieci czy bardziej rozpowszechnione.
Nawet podczas incydentów sieciowych możecie ocenić, które regiony są dotknięte, a które ścieżki pozostają funkcjonalne.

Tu robi się ciekawie: każda hostowana sonda przynosi wam kredyty. Host otrzymuje 15 kredytów za każdą minutę, gdy jego sonda jest podłączona do sieci, więc zakładając ciągłe połączenie, powinniście zarobić około 21 600 kredytów każdego dnia.

Dla perspektywy: za 1 000 000 kredytów możecie zaplanować pingi z 50 sond na całym świecie, wykonywane co pięć minut przez trzy tygodnie.

Dwa sposoby rozpoczęcia

Sondy sprzętowe: opcja "podłącz i zapomnij"

Sondy sprzętowe wymagają mniej wiedzy technicznej do instalacji i obsługi, ponieważ działają według zasady "zainstaluj i zapomnij". Po umieszczeniu urządzenia automatycznie się łączy i generalnie "po prostu działa". Są automatycznie aktualizowane do najnowszego dostępnego firmware.

Proces jest prosty:

Utwórz konto RIPE NCC Access
Złóż wniosek o sondę sprzętową przez swoje konto
Jeśli wniosek zostanie zatwierdzony, wyślą wam sondę
Zarejestruj sondę przez swoje konto i podłącz ją

To wszystko. Sonda zajmuje się wszystkim innym, włączając aktualizacje firmware i zarządzanie łącznością.

Sondy programowe: dla zaawansowanych technicznie

Sondy programowe wymagają większej wiedzy technicznej, ale można je zainstalować na wielu wariantach Linuksa (Debian, RedHat, OpenWrt, Raspberry). Dostarczacie sprzęt (może być też VM) do uruchomienia na domowym routerze, Raspberry Pi leżącym bez użytku, własnym serwerze itp.

Ta opcja daje więcej kontroli i elastyczności, choć wymaga większego zaangażowania przy wydawaniu aktualizacji.

Dodatkowe zastosowania

Oczywiście możecie używać RIPE Atlas do rozwiązywania problemów sieciowych i monitorowania. Ale potencjał sięga głębiej.

Badania i analiza: Platforma stała się nieoceniona dla badań Internetu. RIPE Atlas był używany do badania głównych wydarzeń internetowych, włączając awarię w Amsterdam Internet Exchange (AMS-IX), powszechnie uważanym za jeden z największych IXP na planecie.

Walidacja wydajności: Przed podejmowaniem decyzji infrastrukturalnych możecie testować wydajność z różnych globalnych lokalizacji. Planujecie nowe wdrożenie CDN? Zmieniacie dostawców? RIPE Atlas daje dane do podejmowania świadomych decyzji.

Nauka i rozwój: Jeśli rozwijacie umiejętności automatyzacji sieci, RIPE Atlas zapewnia doskonałe API i zestaw danych do ćwiczeń. Dane pomiarowe są bogate, a API dobrze udokumentowane.

Poznaj AWS NAT gateway

https://malithr.com/aws/natgateway/

Artykuł opisuje, kiedy Managed NAT Gateway w AWS jest właściwym wyborem, a kiedy warto rozważyć tańsze, samodzielnie zarządzane alternatywy. Pokazuje podstawowy scenariusz: instancje w prywatnej podsieci potrzebują dostępu do internetu, więc ruch wychodzi przez NAT (NAT Gateway w podsieci publicznej).

Stwórz własne testy w Infrahub

Przewodnik pokazuje testowanie w Infrahub przy użyciu wtyczki pytest, koncentrując się na walidacji zapytań GraphQL, szablonów Jinja2 i Transformations — wszystko za pomocą prostych testów w YAML, bez potrzeby pisania Pythona. Możesz szybko sprawdzić składnię (smoke tests), poprawne renderowanie dla konkretnych wejść (unit tests) i — poza tym postem — integrację z żywym serwisem (integration tests).

Wykorzystanie LLDP i STP do rozwiązywania problemów

Przeczytaj całą historię

Zarejestruj się teraz, aby przeczytać całą historię i uzyskać dostęp do wszystkich postów za tylko dla płacących subskrybentów.

Subskrybuj

Masz już konto? Zaloguj się