Creare tabelle BigLake di Delta Lake

BigLake ti consente di accedere alle tabelle Delta Lake con un controllo dell'accesso più granulare. Delta Lake è un formato di archiviazione dati tabulare open source sviluppato da Databricks che supporta e tabelle di dati su scala petabyte.

BigQuery supporta le seguenti funzionalità con le tabelle Delta Lake:

• Delegazione dell'accesso: esegui query sui dati strutturati in data store esterni con la delega dell'accesso. La delega dell'accesso scollega l'accesso alla tabella Delta Lake dall'accesso al datastore sottostante.
• Controllo dell'accesso granulare: applica una sicurezza granulare in a livello di tabella, tra cui a livello di riga e a livello di colonna. Per le tabelle Delta Lake basate su Cloud Storage, puoi anche utilizzare il mascheramento dei dati dinamico.
• Evoluzione dello schema: modifiche allo schema nelle tabelle Delta Lake. Modifiche alle vengono riportati nella tabella BigQuery.

Le tabelle Delta Lake supportano anche tutte le caratteristiche BigLake quando le configuri come tabelle BigLake.

Prima di iniziare

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

3. Enable the BigQuery Connection and BigQuery Reservation APIs.

   Enable the APIs

4. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

5. Assicurati di avere un dataset BigQuery.

6. Assicurati che la versione di Google Cloud SDK sia 366.0.0 o successiva:

   gcloud version
   

   Se necessario, aggiorna Google Cloud SDK.

7. Crea un Connessione alle risorse cloud in base all'origine dati esterna e concedi la connessione per accedere a Cloud Storage. Se non hai le autorizzazioni appropriate per creare una connessione, chiedi l'amministratore BigQuery per creare una connessione e la condividiamo con te.

Ruoli obbligatori

Per creare una tabella Delta Lake sono necessarie le seguenti autorizzazioni:

• bigquery.tables.create
• bigquery.connections.delegate

L'amministratore BigQuery (roles/bigquery.admin) predefinito Il ruolo Identity and Access Management include queste autorizzazioni.

Se non sei un entità in questo ruolo, chiedi all'amministratore di concederti queste autorizzazioni o di creare la tabella Delta Lake per te.

Inoltre, per consentire agli utenti di BigQuery di eseguire query sulla tabella, l'account di servizio associato alla connessione deve avere quanto segue autorizzazione e accesso:

• Ruolo Visualizzatore BigQuery (roles/bigquery.viewer)
• Ruolo Utente connessione BigQuery (roles/bigquery.connectionUser)
• Accesso al bucket Cloud Storage che contiene i dati

Per ulteriori informazioni su ruoli e autorizzazioni di Identity and Access Management in per BigQuery, consulta Ruoli e autorizzazioni predefiniti.

crea tabelle con Delta Lake

Per creare tabelle Delta Lake, segui questi passaggi.

CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.DELTALAKE_TABLE_NAME`
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  format ="DELTA_LAKE",
  uris=['DELTA_TABLE_GCS_BASE_PATH']);

bq mk --table --external_table_definition=DEFINITION_FILE PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "autodetect": true,
  "externalDataConfiguration": {
  "sourceFormat": "DELTA_LAKE",
  "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
  "sourceUris": [
    "DELTA_TABLE_GCS_BASE_PATH"
  ],
 },
"tableReference": {
"tableId": "DELTALAKE_TABLE_NAME"
}
}'

echo $REQUEST | curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables?autodetect_schema=true

Quando crei tabelle Delta Lake, il prefisso Delta Lake è utilizzato come URI della tabella. Ad esempio, per una tabella con log nel gs://bucket/warehouse/basictable/_delta_log, l'URI della tabella è gs://bucket/warehouse/basictable. Quando esegui query sulla tabella Delta Lake, BigQuery legge i dati sotto il prefisso per identificare la versione corrente della tabella e poi calcola i metadati e i file della tabella.

Aggiorna tabelle Delta Lake

Per aggiornare lo schema delle tabelle Delta Lake, segui questi passaggi.

bq update --autodetect_schema PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

REQUEST='{
  "externalDataConfiguration": {
    "sourceFormat": "DELTA_LAKE",
    "sourceUris": [
      "DELTA_TABLE_GCS_BASE_PATH"
    ],
    "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
    "autodetect": true
  },
  "tableReference": {
    "tableId": "DELTALAKE_TABLE_NAME"
  }
}'
echo $REQUEST |curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables

Query su tabelle Delta Lake

Dopo aver creato una tabella Delta Lake BigLake, puoi eseguire query con la sintassi GoogleSQL, come in una tabella BigQuery standard. Ad esempio:

SELECT field1, field2 FROM mydataset.my_cloud_storage_table;

Per ulteriori informazioni, consulta Eseguire query sui dati di Cloud Storage nelle tabelle BigLake.

Una connessione esterna associata a si utilizza un account di servizio per la connessione al datastore. Poiché l'account servizio recupera i dati dal datastore, gli utenti devono accedere solo alla tabella Delta Lake.

Mappatura dei dati

BigQuery converte i tipi di dati di Delta Lake in Tipi di dati di BigQuery come mostrato nella tabella seguente:

Limitazioni

Le tabelle Delta Lake hanno limitazioni per le tabelle BigLake e anche le seguenti limitazioni:

• Supporta la versione del lettore 3 di Delta Lake con vettori di eliminazione e mappatura delle colonne.
• Non supporta i checkpoint Delta Lake V2.
• Devi elencare la versione del lettore nell'ultimo file della voce di log. Ad esempio: le nuove tabelle devono includere 00000..0.json.
• Le operazioni CDC (Change Data Capture) non sono supportate. Eventuali operazioni CDC esistenti vengono ignorate.
• Lo schema viene rilevato automaticamente. Modificando lo schema utilizzando BigQuery non è supportato.
• I nomi delle colonne della tabella devono rispettare le limitazioni dei nomi delle colonne di BigQuery.
• Le viste materializzate non sono supportate.
• L'API Read non è supportata per Delta Lake.