4 ottobre 2018

Marco Enrico Piras

CRS4
http://www.crs4.it/

L'infrastruttura virtuale PhenoMeNal: deployment on-demand per l'analisi di dati scientifici su cloud

Laureato in Ingegneria Informatica presso l’Università di Roma “La Sapienza”, dal 2014 lavora come tecnologo al CRS4. Qui si occupa di progettazione ed implementazione di sistemi distribuiti per il trattamento e l’archiviazione di grossi volumi di dati scientifici (Big Data), con un focus particolare sull'utilizzo di architetture a microservizi e l’automazione del loro deployment.

Graduated in Computer Engineering at Università “La Sapienza" of Rome, since 2014 he works as a technologist at CRS4. Here he deals with the design and implementation of distributed systems for the processing and storage of large volumes of scientific data (Big Data), with a particular focus on the use of micro-service architectures and the automation of their deployment.

SESSIONE 8. INFRASTRUTTURE DIGITALI E SERVIZI PER RICERCA E FORMAZIONE

L’infrastruttura virtuale PhenoMeNal: deployment on-demand per l'analisi di dati scientifici su cloud

PhenoMeNal è un'infrastruttura completa di software elettronica per l'elaborazione e l'analisi dei dati sulle moderne piattaforme cloud Infrastructure-as-a-service (IaaS), appositamente studiate per la metabolomica. Attraverso il portale online, le istanze personali del PhenoMeNal Cloud Research Environment (CRE) - che includono ambienti di analisi dei dati ampiamente utilizzati come Galaxy e Jupyter - possono essere implementate su richiesta, tramite un processo automatizzato, su cloud accessibili OpenStack o su Servizi Web Amazon o piattaforme di Google Computer. Questa soluzione flessibile consente a ricercatori e professionisti in metabolomica, campo dinamico e in espansione con applicazioni biomediche, biotecnologiche e molti altri domini biologici applicati, di sfruttare facilmente l'accesso alle risorse di cloud computing per accelerare l'analisi delle grandi quantità di dati che producono ed eliminare gli ostacoli di usabilità tecnologica attraverso l'interfaccia grafica di PhenoMeNal. Lo sviluppo di PhenoMeNal CRE crea i cluster Kubernetes (k8s) e GlusterFS sul target IaaS e avvia i servizi di analisi dei dati accessibili all'utente. La quantità di risorse di calcolo da rendere disponibili (ad es. Numero e tipo di istanze, quantità di memoria) è configurabile. La piattaforma integra 10 flussi di lavoro metabolomici preconfigurati e / o pubblicati e oltre 250 strumenti open source esistenti e nuovi, testati e confezionati come immagini dei contenitori Docker attraverso un processo di integrazione continuo e estratti dinamicamente su richiesta per essere eseguiti sulla piattaforma di orchestrazione K8. Questo design flessibile consente una facile personalizzazione dell'infrastruttura per qualsiasi dominio analogo di analisi dei dati. Le implementazioni di CRE sono totalmente riproducibili, facilitando così la condivisione e la riproducibilità dei risultati dell'analisi dei dati. Pertanto, PhenoMeNal costituisce una soluzione chiave per consentire agli scienziati di sfruttare il potenziale di IaaS con una piattaforma di analisi dei dati pronta all'uso, guidata dal flusso di lavoro, riproducibile e condivisibile che fornisce un'interfaccia web user-friendly.


The PhenoMeNal Cloud-based Virtual Data Processing and Analysis E-infrastructure

PhenoMeNal is a complete software-defined e-infrastructure for data processing and analysis on modern infrastructure-as-a-service (IaaS) cloud platforms, especially tailored for metabolomics. Through the online portal, personal instances of the PhenoMeNal Cloud Research Environment (CRE) – which include widely used data analysis environments such as Galaxy and Jupyter – can be deployed on-demand, through an automated process, on accessible OpenStack clouds, or on Amazon Web Services or Google Compute Platform. This flexible solution enables researchers and practitioners in metabolomics, which is a dynamic and expanding field with applications across biomedical, biotechnological and many other applied biological domains, to easily leverage access to cloud computing resources to accelerate the analysis of the large quantities of data they produce and to eliminate technological usability hurdles through PhenoMeNal’s graphical user interface. The PhenoMeNal CRE deployment creates Kubernetes (k8s) and GlusterFS clusters on the target IaaS and launches the user-accessible data analysis services. The amount of computing resources to make available (e.g., number and type of instances, amount of storage) is configurable. The platform integrates 10 pre-configured and/or published metabolomics workflows and over 250 existing and new open source tools, which are tested and packaged as Docker containers images through a continuous integration process and dynamically pulled on-demand to be run on the k8s orchestration framework. This flexible design allows easy customization of the infrastructure for any comparable data analysis domain. CRE deployments are totally reproducible, thus facilitating the sharing and reproducibility of data analysis results. Thus, PhenoMeNal constitutes a key-turn solution for scientists to exploit the potential of IaaS with a ready-to-use, workflow-driven, reproducible and shareable data analysis platform providing a user-friendly web interface.

 


Sponsor

DELL EMC
Palo Alto Networks
INTEL

juniper networks
maticmind