De verbindingsproblemen die op maandag 12 mei zijn waargenomen bij een deel van onze klanten, zijn inmiddels volledig verholpen. Na grondige analyse door onze technische afdeling, in samenwerking met externe netwerkexperts en uiteindelijk met directe betrokkenheid van een senior engineer van Eurofiber en een engineer van Microsoft, is de bron van het probleem herleid tot een onvolledig doorgevoerde wijziging binnen het netwerk van Eurofiber.

Op vrijdag 9 mei heeft Eurofiber een wijziging doorgevoerd in het routeringsbeleid van een aantal IPv4-adressen. Deze wijziging betrof het verwijderen van een aantal oudere IP-ranges die inmiddels buiten gebruik waren. In dit proces is echter abusievelijk een essentiële filterregel niet opnieuw toegepast op enkele resterende, nog actief gebruikte IP-ranges. Deze filters zijn noodzakelijk om correcte routering richting Microsoft-diensten mogelijk te maken en bestaan onder andere uit toegangsregels die ICMP-communicatie en DNS-resolutie tussen het Eurofiber-netwerk en Microsoft-infrastructuur faciliteren.

Gedurende het weekend zijn hierop slechts sporadisch klachten binnengekomen, wat aanvankelijk geen directe aanleiding gaf om een grotere netwerkfout te vermoeden. Daarbij kwam ook nog eens dat op de website van allestoringen.nl een groot aantal meldingen waren inzake het niet functioneren van Microsoft diensten in zijn algemeenheid. Echter, en pas op maandagochtend, nam het aantal meldingen merkbaar toe, specifiek van klanten die gebruikmaken van Microsoft 365 en Exchange Online. Overige diensten, zoals standaard e-mailverkeer en HTTP/HTTPS-verbindingen, bleven wél volledig operationeel, waardoor de storing zich erg gefragmenteerd manifesteerde en de oorzaak moeilijker te traceren was. En laat netwerk c.q. routerings problemen nu één van de meest lastigste en meest tijdrovende zaken zijn om te troubleshooten.

Een diepgaande analyse bracht uiteindelijk aan het licht dat verbindingen naar Microsoft vanuit enkele IP-blokken abrupt eindigden bij een tussenstation in het Eurofiber-netwerk, dat normaal gesproken als laatste hop fungeert richting Microsoft’s infrastructuur. De traceroutes bevestigden dat pakketten daar niet verder kwamen en ook ICMP-verkeer en DNS-query’s richting Microsoft werden vanuit deze IP-ranges geblokkeerd, terwijl andere IP-ranges – waaronder oudere blokken die al langer actief zijn – geen enkel probleem ondervonden en volledige connectiviteit richting Microsoft 365-servers hadden. Deze stopte overduidelijke bij de volgende hop van Eurofiber: 89-20-160-93.static.ef-service.nl (89.20.160.93) 4.674 ms 4.662 ms 4.626 ms (89.20.160.64/27 range behoort toe aan Eurofiber Nederland).

Uit verder onderzoek bleek dat deze situatie is ontstaan doordat bij het verwijderen van oude IP-ranges de bijbehorende routeringsfilters (ACL's of prefix lists) niet opnieuw of onvolledig zijn toegepast op de resterende actieve IP-ranges. Hierdoor ontbrak een essentieel deel van de toegangsregels voor verkeer richting Microsoft, met als gevolg dat clients vanuit deze IP-ranges geen verbinding konden maken met Microsoft 365-servers, terwijl andere providers en IP-blokken wel gewoon toegang hadden.

Het herstellen van deze fout bleek complexer dan aanvankelijk gedacht. Eurofiber heeft het incident uiteindelijk geëscaleerd naar hun hoogste technische niveau. In de loop van de avond heeft een van hun senior netwerkengineers in samenwerking met een Microsoft-specialist een correctievoorstel opgesteld en dit eerst getest op één getroffen range. Nadat deze test succesvol bleek, is het fix-beleid uitgerold naar de overige getroffen IP-blokken. Rond 01:00 ’s nachts waren alle aanpassingen doorgevoerd en functioneerde de communicatie richting Microsoft 365 en Exchange Online weer zoals verwacht.

Deze storing was volledig het gevolg van een fout in de infrastructuur van Eurofiber, die als netwerkleverancier verantwoordelijk is voor de core routing in het datacenter waarin onze hardware is gehuisvest. Onze eigen routers, switches en servers functioneerden tijdens het gehele incident correct en zonder enige verstoring. Wij hebben dit probleem dan ook niet zelf kunnen verhelpen, daar de toegang tot de relevante routeringsinfrastructuur uitsluitend bij Eurofiber ligt.

Het feit dat dit pas na meer dan twaalf uur is opgelost, komt voort uit de complexiteit van het routeringsbeleid, de betrokkenheid van meerdere partijen (waaronder Microsoft) en het ontbreken van zichtbare netwerkproblemen buiten de Microsoft-diensten. Wij hebben dit incident intern geëvalueerd en zullen in overleg met Eurofiber nagaan hoe in de toekomst beter toezicht kan worden gehouden op kritieke routeringswijzigingen, en hoe communicatie en escalatie sneller kunnen verlopen bij soortgelijke situaties.

We beseffen dat dit voor de betrokken klanten zeer vervelend is geweest en danken iedereen voor het geduld en begrip. Deze situatie onderstreept het belang van zorgvuldig change management op netwerkniveau en het tijdig escaleren van netwerkfouten naar de juiste partijen. Hoewel wij als ISP afhankelijk zijn van de fysieke infrastructuur van derden, nemen wij onze coördinatierol hierin serieus en zullen wij blijven toezien op de kwaliteit en betrouwbaarheid van onze dienstverlening.

Het moge duidelijk zijn dat wij de impact van deze storing, die het gevolg was van handelen binnen het netwerk van Eurofiber, zeer serieus nemen. Dit is inmiddels het tweede incident binnen een relatief korte periode dat direct te herleiden is tot wijzigingen of werkzaamheden aan hun zijde, waarbij het vorige voorval in november 2024 werd veroorzaakt door onvolledig gecommuniceerde netwerkwerkzaamheden binnen hun infrastructuur. Wij begrijpen dat onvoorziene technische problemen kunnen optreden — ook bij gerenommeerde partijen — maar we vinden dat er sneller en adequater gereageerd mag worden op concrete bevindingen van onze technici, zeker wanneer die tijdig en onderbouwd worden aangedragen. In dit kader zullen wij in gesprek gaan met Eurofiber om te pleiten voor een directere en efficiëntere communicatielijn met hun technische support, zodat in soortgelijke situaties sneller kan worden gehandeld en de duur van een eventuele verstoring substantieel kan worden teruggebracht.

Hoewel netwerkstoringen zoals deze zeldzaam zijn, kunnen de gevolgen ervan aanzienlijk zijn. Het blijft een technisch complex en tijdrovend proces om de oorzaak van dergelijke verstoringen te identificeren, op te lossen en die oplossing vervolgens zorgvuldig in te voeren binnen een actief productienetwerk zonder nieuwe risico’s te introduceren. Wij doen er alles aan om onze infrastructuur in topconditie te houden: van tijdige vernieuwing van servers, opslag, geheugen en netwerkapparatuur tot het preventief vervangen van switches, routers en PDU’s bij de geringste signalen van slijtage of instabiliteit. Maar zoals geldt voor elke partij die actief is in een digitaal ecosysteem: volledige garantie op het uitblijven van storingen bestaat niet. De afhankelijkheid van talloze externe factoren, onderliggende systemen en leveranciers maakt dat zelfs een kleine verstoring op één schakel invloed kan hebben op kritieke diensten. Dit zien we niet alleen bij onszelf, maar ook terug bij andere grote partijen — van Cloudflare tot KPN, van banken tot overheden.

Wat wij wél kunnen garanderen, is dat we blijven investeren in preventie, responsiviteit en samenwerking met externe partijen, om de betrouwbaarheid van onze diensten op het hoogst mogelijke niveau te houden.

Nog een kleine toevoeging inzake "Microsoft 365 (zakelijk)"-gebruikers die problemen ervaren met het inloggen. Dit is geen probleem wat naar aan ons te herleiden valt, maar een probleem vanuit Microsoft. Zie ook Tweakers nieuwsbericht hierover: https://tweakers.net/nieuws/234860/ontwikkelaar-deelt-fix-voor-inlogproblemen-outlook-in-microsoft-365.html. Aldaar wordt het probleem ook bevestigd door diverse gebruikers en verder verwezen naar een Youtube filmpje welke de oplossing zou moeten bieden. Voor zover wij kunnen constateren betreft dit alleen zakelijke gebruikers van Microsoft 365 die gebruik maken van zogenamen tenants.

Laatste update inzake storing: 3:50. Laatste aanpassing uitleg 7:35.