Che cosa si intende per agilità dei dati?
Ogni impresa, ogni azienda, si nutre di dati. I dati sono la risorsa più preziosa di ogni organizzazione eppure, troppo spesso, non sono all'altezza del loro valore. Il potenziale dei dati è praticamente infinito, ma la realtà è molto meno rosea. Spesso gli specialisti di integrazione dei dati e i data engineer non riescono a soddisfare la richiesta sempre più urgente e articolata di dati proveniente dall'interno dell'organizzazione e dai partner.
Questo è dovuto in parte alla frammentarietà di molte infrastrutture di gestione dei dati. Un'organizzazione media acquisisce dati da oltre 400 sorgenti di dati. Il 41% dei team di assistenza si lamenta di essere rallentato dai silos di dati. Inoltre, la maggior parte delle aziende dedica più tempo alla ricerca e alla preparazione dei dati che al loro utilizzo, rendendo faticoso per le persone in tutta l'organizzazione ottenere anche i dati più elementari.
Il problema non è che le aziende non hanno dati a sufficienza o che questi sono di scarsa qualità oppure errati: nella maggior parte dei casi questo non si verifica. Quello che manca è l'agilità dei dati.
Definizione di agilità dei dati
Per agilità dei dati si intende la velocità e la flessibilità richieste per soddisfare la domanda di dati in un'impresa in modo veloce, affidabile e su larga scala, indipendentemente dall'infrastruttura sottostante di gestione dei dati (ad es. ibrida, multicloud).
L'agilità è un componente chiave della Data Health, cioè della capacità dei dati di un'organizzazione di supportare gli obiettivi aziendali. I dati possono essere considerati "sani" quando sono facilmente reperibili, comprensibili e utili alle persone che ne hanno bisogno e queste caratteristiche vengono mantenute lungo tutto il loro ciclo di vita.
Per supportare una vera agilità dei dati, un'organizzazione deve avere un ecosistema flessibile e scalabile con una gestione dei dati a 360 gradi. Solo così sarà un grado di soddisfare le esigenze mutevoli dell'attività.
Il rischio di dati frammentati
I team di gestione dei dati e IT che si focalizzano sui meccanismi di movimentazione dei dati senza considerare la Data Health, si trovano presto impantanati in una vera e propria "palude di dati", un ammasso di informazioni isolate e difficili da reperire, con pipeline di dati fragili e nessuna capacità di estendere l'uso dei dati su ampia scala. Questa condizione si è aggravata negli ultimi anni con l'arrivo dei data warehouse in cloud.
I professionisti di integrazione dei dati e data science sono particolarmente esposti a queste problematiche. Sono letteralmente travolti dalla richiesta di dati e frustrati dalle tempistiche con cui questi dati vengono resi disponibili. Le soluzioni esistenti basate su codificazione manuale o combinazioni separate richiedono tempi di implementazione troppo lunghi e conoscenze specifiche per la manutenzione; inoltre, devono essere praticamente reinventate a ogni integrazione o nuovo progetto. Così, le richieste si accumulano, mettendo a rischio la fornitura, l'affidabilità e la scalabilità dei dati.
Anche i responsabili di dati e IT, ad esempio Chief Information Officer (CIO) e Chief Data Officer (CDO), faticano a svolgere il loro lavoro perché i flussi di dati rigidi, fragili o isolati impediscono a un'organizzazione di cogliere appieno i benefici della trasformazione digitale. Senza una visione chiara, completa e diffusa dei dati, l'ufficio IT centrale non riesce a mettere in atto politiche di gestione dei dati a tutti i livelli aziendali. Dati lenti e isolati ostacolano inoltre la conformità normativa, mettendo a rischio l'intera azienda.
Al tempo stesso, gli esperti delle varie divisioni aziendali non ottengono i dati grezzi di cui hanno bisogno per prendere decisioni informate e puntuali. Dati lenti e isolati riducono le potenzialità di analisi creando barriere che impediscono di rispettare le scadenze, fanno lievitare i costi dei progetti, ostacolano un'analisi completa o comportano una duplicazione delle stesse attività in altri reparti. Le lacune di competenze tecniche impediscono inoltre agli esperti di massimizzare il valore dei loro dati in tempi rapidi.
Ponendo l'enfasi sull'agilità dei dati, i team di data engineering acquisiscono la velocità e la flessibilità per restare al passo con la domanda di dati dell'azienda e ampliare le attività operative senza preoccuparsi di problemi di continuità o compatibilità.
Agilità dei dati in azione: le storie dei clienti
AB InBev — L'agilità dei dati non ha mai avuto un gusto migliore
La multinazionale di bevande e birra AB InBev ha un ricco portafoglio con oltre 500 marchi di birra, fra cui Budweiser, Corona, Stella Artois, Beck’s, Hoegaarden e Leffe. Poiché molti di questi produttori operano come entità indipendenti, ciascuna con propri sistemi interni, l'integrazione dei sistemi e dei dati delle aziende acquisite è una sfida complessa.
“I nostri operatori interni — data scientist, team operativi e team aziendali — faticavano a raccogliere dati provenienti da oltre 100 sorgenti, analizzarli e prendere decisioni tempestive su sviluppo prodotto, supply chain, campagne di marketing e altro ancora,” spiega Harinder Singh, Global Director of Data Strategy & Solution Architecture di AB InBev.
Tutto il lavoro di gestione dei dati doveva essere fatto sotto l'egida di AB InBev. Talend ha consentito di estrarre dati da oltre 100 sorgenti, in tempo reale e in batch, in cloud e on-premise. Ora gli utenti interni impiegano solo il 30 percento circa del loro tempo per la raccolta di dati e possono quindi dedicare il restante 70% all'analisi.
I dati aiutano a capire i gusti dei consumatori e ad analizzare nuove richieste, ad esempio per birre a basso contenuto calorico, o individuare le preferenze stagionali. I dati aiutano anche a migliorare l'esperienza nei negozi e nei bar, la gestione della supply chain, lo sviluppo dei prodotti e altro ancora.
MeDirect Bank — Guardare al futuro per una facile transizione al cloud
MeDirect Bank è una banca e società di servizi finanziari con sede a Malta che fornisce una serie di prestazioni, dai conti deposito ai fondi d'investimento fino alla gestione patrimoniale. Tutte le aziende di servizi finanziari hanno dovuto affrontare la transizione al digital banking, e i dati sono stati il cuore di questa transizione.
Come piattaforma di dati legacy, MeDirect utilizzava una piattaforma Postgres on premise. Ha scelto Snowflake come piattaforma cloud e Talend per la replica dei dati dall'on premise al cloud.
Kurt Zahra, data architect di MeDirect, afferma: "Tutti i nostri processi, sia dal punto di vista del caricamento sia dell'integrazione dei dati, sono stati sviluppati con Talend. Abbiamo ritenuto che il modo migliore per garantire una transizione fluida al cloud fosse continuare a sfruttare l'investimento, mantenere gli incarichi di lavoro esistenti e migliorarli in modo da poter caricare i dati sulla nuova piattaforma. Abbiamo 40-50 sorgenti di dati integrate con Talend, alcune interne e altre esterne".
Nonostante la quantità di sistemi coinvolti, utilizzare Talend per la migrazione è stato molto semplice, per questo Kurt è certo che i dati nel nuovo sistema siano accurati.
Come si può migliorare l'agilità dei dati?
La piattaforma di gestione dei dati di Talend è indipendente dal cloud e riduce drasticamente la scrittura di codice, abbattendo le barriere economiche e tecniche che ostacolano una gestione dei dati a 360 gradi. Talend consente di velocizzare tutti gli aspetti del ciclo di vita dei dati, in qualsiasi ambiente, senza bisogno di scrivere codice manualmente.
Interfacce API e servizi API agevolano la condivisione sicura e veloce dei dati, sia internamente sia con partner esterni, riducendo il carico di lavoro per integratori e ingegneri. Inoltre, Pipeline Designer e Stitch di Talend consentono una rapida implementazione di flussi di dati robusti, in meno tempo e senza competenze tecniche avanzate.
Registrati subito per una prova gratuita per scoprire come Talend può contribuire all'agilità dei dati della tua organizzazione.
