AWS Glue
Scopri, prepara e integra tutti i tuoi dati su qualsiasi scalaVantaggi di AWS Glue
Come funziona
AWS Glue è un servizio di integrazione dei dati serverless che facilita la scoperta, la preparazione, lo spostamento e l'integrazione dei dati da più origini per l'analisi, il machine learning (ML) e lo sviluppo di applicazioni.
-
Opzioni del motore di integrazione dei dati
-
ETL basato su eventi
-
Catalogo dati AWS Glue
-
Processi ETL senza codice
-
Gestisci e monitora la qualità dei dati
-
Preparazione dei dati
-
Opzioni del motore di integrazione dei dati
-
Scegli il motore di integrazione dei dati che preferisci in AWS Glue per supportare i tuoi utenti e carichi di lavoro.
Fai clic per ingrandire
Il diagramma mostra come gli utenti di AWS Glue possono scegliere tra le opzioni dell'interfaccia per creare carichi di lavoro di processi utilizzando più motori di integrazione dei dati. Vengono visualizzate quattro sezioni: una a sinistra, due al centro e una a destra.
La prima sezione a sinistra si chiama "Origini dei dati". Include le seguenti origini dei dati: "Amazon S3", "Amazon DynamoDB", "Database in esecuzione su Amazon EC2", "Database" e "SaaS".
Dalla prima sezione, una freccia punta alla sezione centrale nella parte superiore del diagramma, chiamata "Scelta di interfacce". Questa seconda sezione comprende tre elementi: "AWS Glue Studio", "Notebook Amazon SageMaker" e "Notebook e IDE".
Sotto la seconda sezione, c'è un testo in cui si legge: "Le interfacce aperte supportano carichi di lavoro interattivi e di processi". Questo testo include una freccia che indica la seconda sezione precedentemente descritta e una freccia che punta alla terza sezione sottostante.
Questa terza sezione si chiama "Motori di integrazione dei dati". Nel testo si legge: "Scegli un motore di elaborazione dei dati scalabile e serverless con dimensionamento automatico e pagamento in base al consumo". Questa sezione comprende tre nomi di motori: "AWS Glue per Ray", "AWS Glue per Python Shell" e "AWS Glue per Apache Spark".
La quarta sezione appare a destra della seconda sezione con una freccia che punta dalla seconda sezione alla quarta sezione. Nella quarta sezione si legge: "Crea e carica i dati nei data lake e nei data warehouse". Anche questa sezione comprende tre voci: "Amazon Redshift", "Data lake" e "Data warehouse".
-
ETL basato su eventi
-
AWS Glue può eseguire i processi di estrazione, trasformazione e caricamento (ETL) non appena arrivano nuovi dati. Ad esempio, puoi configurare AWS Glue per eseguire il processo ETL non appena i nuovi dati diventano disponibili in Amazon Simple Storage Service (S3).
.3f3f393bfdb3deefdf183c1cfd39741f99eed6c6.png)
-
Catalogo dati AWS Glue
-
Puoi utilizzare il catalogo dati per rilevare e rendere ricercabili diversi set di dati in AWS in modo rapido senza spostarli. Una volta catalogati, i dati sono immediatamente ricercabili e interrogabili con Amazon Athena, Amazon EMR e Amazon Redshift Spectrum.
.cbbd4734e6a79cc3d2569064d0010605a0a307ae.png)
-
Processi ETL senza codice
-
AWS Glue Studio facilita la creazione, l'esecuzione e il monitoraggio visivi dei processi ETL di AWS Glue. Puoi creare processi ETL che spostano e trasformano i dati utilizzando un editor a trascinamento e rilascio e AWS Glue genererà automaticamente il codice.
.522ef785088de982530b9fdde4c8be146562fa0f.png)
-
Gestisci e monitora la qualità dei dati
-
Qualità dei dati di AWS Glue automatizza la creazione, la gestione e il monitoraggio delle regole di qualità dei dati per garantire l'alta qualità dei dati nei data lake e nelle pipeline di dati.
Fai clic per ingrandire
Il diagramma mostra come Qualità dei dati di AWS Glue possa essere utilizzato per creare raccomandazioni di regole, monitorare la qualità dei dati e inviare avvisi quando la qualità dei dati si deteriora. Vengono visualizzate tre sezioni da sinistra a destra.
La prima sezione contiene un'illustrazione di Catalogo dati AWS Glue e ETL AWS Glue. In Catalogo dati AWS Glue, si legge: "Cataloga tutti i set di dati nei tuoi data lake". In ETL di AWS Glue si legge: "Integra e trasforma i dati da origini dei dati diverse".
La seconda sezione si chiama "Qualità dei dati di AWS Glue". In questa sezione sono presenti tre icone. La prima è una checklist. Sotto si legge: "Raccomandazioni sulle regole di qualità dei dati". Inizia rapidamente con le raccomandazioni automatiche sulle regole di qualità dei dati". La seconda icona è una matita. Sotto si legge: "Regole di qualità dei dati preconfigurate". Modifica o aumenta le raccomandazioni con regole di qualità dei dati preconfigurate". La terza icona è una campana. Sotto si legge: "Avvisi e azioni. Aggiungi avvisi e azioni da eseguire quando la qualità dei dati si deteriora".
La terza sezione presenta due icone impilate. La prima icona è un grafico a barre. Sotto si legge: "Parametri. Utilizza i parametri di qualità dei dati per prendere decisioni aziendali sicure". La seconda icona è un segno di avvertenza. Sotto si legge: "Avvisi. Utilizza gli avvisi per ricevere una notifica quando la qualità si deteriora e intervieni per correggere i dati".
-
Preparazione dei dati
-
Con AWS Glue DataBrew è possibile esplorare e sperimentare con i dati direttamente da data lake, data warehouse e database, inclusi Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora e Amazon Relational Database Service (RDS). Puoi scegliere tra oltre 250 trasformazioni integrate in DataBrew per automatizzare le attività di preparazione dei dati, come filtro delle anomalie, standardizzazione dei formati e correzione dei valori non validi.
.0e1a87155040f71dcc92464a283f1adddd39cf85.png)
Casi d'uso
Esplora, sperimenta ed elabora i dati in modo interattivo
Semplifica lo sviluppo della pipeline ETL
Supporta vari framework di elaborazione e carichi di lavoro
Scopri i dati in modo efficiente
Novità
- Data (dalla più alla meno recente)