Alfredo Funicello

9 novembre 2023 - SESSIONE 5 | Wireless Campus Network

Analisi sui flussi Netflow con sistemi OLAP, verso il ML

Netflow analysis with OLAP systems, towards ML

Slide


Alfredo Funicello

Alfredo Funicello è uno studente magistrale del corso di Data Science dell'Università degli studi di Milano. Durante il suo percorso di studi triennale in Informatica si è appassionato al Systems Design, passione che lo ha portato verso la GARR Academy; l'academy organizzata dal Consortium GARR che approfondiva metodologie moderne per lo sviluppo e messa in produzione del software. L'esperienza positiva dell'academy si è evoluta nella posizione di DevOps Engineer che ricopre correntemente da quasi un anno presso il Consortium GARR.

Alfredo Funicello is a master student from the Data Science Master course from the University of Milan. While pursuing his Bachelor's degree in Computer Science he developed a strong passion for Systems Design, this interest led him to join the GARR Academy; organised by the GARR Consortium, which delved into modern methodologies for software development and deployment. The positive experience had at the academy evolved later into the position of DevOps Engineer that he has currently held for almost a year at Consortium GARR.

 

ABSTRACT

La rete GARR-T vede nella telemetria uno dei propri elementi cardine. Con l'obbiettivo di evolvere l'infrastruttura corrente per la telemetria su flussi Netflow, si è deciso di adottare un database OLAP, Clickhouse, come base della nuova piattaforma di osservazione. Questo database scalabile e performante, abilita l'infrastruttura ad una osservazione on-demand della rete e facilita l'integrazione dei dati con il resto dell'ecosistema software di telemetria gestito dal Consortium GARR. In questo intervento presenteremo i progressi del lavoro di sviluppo che hanno portato ad uno strumento che permette l'analisi dei flussi di traffico Netflow a diverse granularità, agevolando sia use case che richiedono maggiore dettaglio come le analisi di sicurezza, sia reportistica su grossa scala; il sistema è inoltre in grado di supportare future metodologie di analisi sui dati, come modelli di ML per l'anomaly detection.

The GARR-T Network project sees telemetry as one of its core elements. In an effort to evolve the current infrastructure for Netflow data telemetry, the Clickhouse OLAP database was chosen as the main foundation for the new observation platform. This scalable and high-performance database enables on-demand observation of the network behaviour and facilitates data integration with the rest of the telemetry software ecosystem managed by the GARR Consortium. In this talk we will present the progress of the development that has resulted in a tool enabling the analysis of Netflow traffic flows with varying granularity, facilitating cases requiring greater detail such as security analysis, as well as large-scale reporting; the system is also capable of supporting further data analysis methodologies, such as ML models for anomaly detection.

 

 

Il workshop è sponsorizzato da:

BGP Workplace solutions
Cisco
Juniper Networks