Verslag TestNet Evenement Netwerk Testen

Redactie: Gerben de la Rambelje
Auteur:  Remco Blewanus (links op foto)  ● Remco.Blewanus@ns.nl / Onno Wierbos (rechts op foto)   ● Onno.Wierbos@ns.nl

Het NBC beschikt sinds kort over een nieuw ‘state of the art’ netwerk. TestNet heeft het NBC aangeboden dit nieuwe netwerk te testen en heeft hiertoe haar leden gevraagd een voorstel in te dienen. Als performancetestteam van de Nederlandse Spoorwegen deden wij hier graag aan mee.
Vanuit NS hebben we ruimschoots ervaring met het testen van netwerken. Onze ketens bestaan uit  systemen waar performance, capaciteit en beschikbaarheid cruciaal zijn. Daarnaast beschikt NS over tal van systemen die voldoende moeten blijven functioneren onder slechte netwerkcondities (congestie, slecht bereik), denk aan reisinformatie onderweg, de railpocket van de conducteur en applicaties op de trein. Het testen van onze netwerken en het testen van applicaties onder verschillende netwerk condities is belangrijk onderdeel van ons performance-testwerk. Zou het nieuwe netwerk van het NBC werkelijk ‘state of the art’ zijn?
Gekozen testaanpak
Een week voor het event hebben we een meetopstelling geplaatst bij het NBC. Door onze open source favorieten Apache Webserver en Apache JMeter lokaal binnen het NBC netwerk en buiten het NBC netwerk in de Cloud te draaien, hebben we een meetopstelling gecreëerd. Deze meetopstelling stelde ons in staat om iedere minuut een kwaliteitsmeting uit te voeren van het WiFi-netwerk en van het netwerk naar buiten. Gedurende een week hebben we iedere minuut metingen uitgevoerd teneinde trends in kwaliteit te identificeren én te kunnen bepalen of het WiFi-netwerk dan wel de internetverbinding naar buiten de beperkende factor vormt.
Tijdens het event hebben we onze opstelling gedemonstreerd. Terwijl de deelnemers live meekeken met de performance van het netwerk, konden we met onze metingen het effect van WiFi-gebruik via de mobiele telefoons van de deelnemers kwantificeren en inzichtelijk maken. Ten slotte hebben we met Apache JMeter een load gegenereerd die gelijk is aan hetgeen het netwerk in theorie zou moeten kunnen verwerken. De resultaten waren verrassend en met onze analyse scripting konden we enkele interessante grafieken produceren.
Resultaten
Tot slot hebben we onze resultaten gepresenteerd aan de deelnemers én de eigenaar van het NBC:
– Het WiFi-netwerk was in een meetperiode van een week niet beschikbaar gedurende 3 uur. Ondanks dat het NBC goed betaalt voor monitoring, werd men niet automatisch gealarmeerd, maar werd het probleem gemeld door haar gasten; een hoog beschikbaar netwerk vereist goede monitoring om de hoge beschikbaarheid te garanderen.
– Er is een duidelijk verschil in drukte op verschillende dagen, met pieken in netwerkgebruik rond 12:00 en na 17:00. Onderstaande grafiek toont vooral op woensdag een piek in het aantal timeouts van onze meetopstelling.

– Op drukke momenten in de week toont het laden van een middelgrote website (1000 KB) responsetijden tot 2 minuten en een grillig verloop. Omdat de meetresultaten vergelijkbaar zijn met het opvragen van dezelfde website bínnen het NBC netwerk, concluderen we dat met name het WiFi-netwerk de beperkende factor is.
– Op de TestNet-avond hebben we een netwerk throughput gemeten die vijf maal lager lag dan op een willekeurig moment overdag. Het laden van een gemiddelde website toonde bij aanvang van de avond responsetijden tot 1 minuut (zie onderstaande grafiek), nadat we flink van start gingen liepen de responsetijden zelfs nog veel hoger op.

Op basis van de testresultaten heeft het NBC samen met de netwerkleverancier nagedacht over mogelijke maatregelen. Test geslaagd! Het NBC heeft ons ook alvast uitgenodigd om over een half jaar de test te komen herhalen. Natuurlijk konden we de avond niet afsluiten zonder gezellige borrel, waar nog druk is nagepraat en genetwerkt!