CONFERENZA GARR 2019
4-6 GIUGNO 2019, POLITECNICO DI TORINO

5 giugno 2019

Stefania Delprete

Consorzio TOP-IX
https://www.top-ix.org/it/consorzio/

Utilizzo delle metriche di Measurement Lab e valorizzazione delle informazioni attraverso tecniche di Data Science

Stefania Delprete è Data Scientist e tech tutor in TOP-IX con competenze ed interessi nell’ambito della fisica teorica, neuroscienze, è stata coinvolta in progetti su open source / free software, diritti umani e cambiamenti sociali in Inghilterra, Germania e Italia. Attualmente è attiva nella comunità Python/PyData ed organizza eventi di Altruismo Efficace, Mozilla/Rust e MathsJam.

Stefania Delprete is a Data Scientist and tech tutor in TOP-IX with background and interest in Theoretical Physics, Neurosciences, and she've been involved in open source / free software, human right and social changes projects in UK, Germany and Italy. She's active in the Python/PyData community, and organizes meetups and events about Mozilla/Rust, Effective Altruism and Maths in Turin.

SESSIONE 5. CT: Sostenibilità e servizi smart

Utilizzo delle metriche di Measurement Lab e valorizzazione delle informazioni attraverso tecniche di Data Science

Measurement Lab è un progetto open source che mette a disposizione misurazioni relative a prestazioni della rete internet. Il consorzio TOP-IX ha deciso di utilizzare le metriche messe a disposizione da M-LAB per ottenere maggiori informazioni sull’impatto dei propri consorziati sul territorio e per analizzare fenomeni che possano potenzialmente influenzare le prestazioni di connettività degli internet provider membri. Questo articolo presenta il processo di estrazione dei dati usati tramite standard SQL in Google BIgQuery, acquisizione ed organizzazione del dataset usando uno script di Python, ed esplorazione di tali dati con librerie Python come Numpy, Pandas, Matplotlib and Seaborn. L'articolo prosegue esponendo una selezione di casi di studio: la profilazione dei provider di servizi internet (in particolare Wireless Internet service provider); la correlazione tra le prestazioni della rete ed i piani commerciali dei provider; la correlazione tra le prestazioni della rete e le condizioni metereologiche usando dati open da ARPA. La ricerca si propone di verificare l'assunto che dati da M-LAB possono essere utilizzati per esplorare ed analizzare il comportamento della connettività di provider ed eventi che possano influire sulle prestazioni Se validato, tale approccio potrebbe essere utilizzato per arricchire informazioni sulla connettività provenienti dai provider stessi tramite un’analisi ottenuta aggregando da dati open e da altre autorità locali.


How to leverage Measurement Lab internet metrics to get useful insights through data science

Measurement Lab is an open source project that provides free, open Internet performance measurement data. TOP-IX Consortium is one of the partners that supports M-LAB, and it decided to leverage the open data provided to get more insights concerning the impact of its network on the territory and the factors that might influence the performances by the connectivity providers among its members. This paper presents the process used to query the data using standard SQL in Google BigQuery, to collect and organize the datasets using Python scripts, and to explore them through open source Python libraries such as Numpy, Pandas, Matplotlib and Seaborn. The research exposed presents a selection of case studies regarding the profiling of internet service providers (particularly wireless service providers), correlation between network performance metrics and commercials public plans, and correlation between performances and weather conditions using open data provided by ARPA. The goal is to validate the assumption that data from M-LAB (basically an enriched speed test) might be used as a "proxy" to explore / analyze connectivity providers behaviours and the events (such as the weather) impacting on their performances. If validated, this approach might be used to enrich the information that connectivity providers extract from their own network, to offer an objective multi-operator analysis and to represent a good tool to verify (thanks to the dataset openness) the reports created by operators themselves or other authorities.

 

Sponsor

Huawei
Main Sponsor

TIM
Fortinet