Membuat dan menyiapkan koneksi resource Cloud

Sebagai administrator BigQuery, Anda dapat membuat koneksi resource Cloud yang memungkinkan analis data melakukan tugas-tugas berikut:

• Membuat kueri data Cloud Storage terstruktur menggunakan tabel BigLake. Tabel BigLake memungkinkan Anda membuat kueri data eksternal dengan delegasi akses.
• Membuat kueri data tidak terstruktur di Cloud Storage menggunakan tabel objek.
• Menerapkan fungsi jarak jauh dengan semua bahasa yang didukung di Cloud Functions atau Cloud Run.

Untuk informasi selengkapnya tentang koneksi, lihat Pengantar koneksi.

Sebelum memulai

• Mengaktifkan BigQuery Connection API.

  Mengaktifkan API

• Untuk mendapatkan izin yang Anda perlukan guna membuat koneksi Resource Cloud, minta administrator Anda untuk memberi Anda peran IAM berikut:

  • BigQuery Connection Admin (roles/bigquery.connectionAdmin) di project
  • Storage Viewer (roles/storage.viewer) di bucket

  Untuk informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

  Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

  Jika Anda ingin membuat kueri data terstruktur menggunakan tabel BigLake berdasarkan Cloud Storage atau data tidak terstruktur menggunakan tabel objek, akun layanan yang terkait dengan koneksi juga harus memiliki peran Storage Viewer (roles/storage.viewer) di bucket yang berisi data eksternal.
  
• Pastikan versi Google Cloud SDK Anda adalah 366.0.0 atau yang lebih baru:

  gcloud version

  Jika perlu, update Google Cloud SDK.

• Opsional: Untuk Terraform, gunakan Terraform GCP versi 4.25.0 atau yang lebih baru. Anda dapat mendownload versi terbaru dari download HashiCorp Terraform.

Pertimbangan lokasi

Saat Anda menggunakan Cloud Storage untuk menyimpan file data, sebaiknya gunakan bucket single-region atau dual-region Cloud Storage untuk performa yang optimal, bukan bucket multi-region.

Membuat koneksi resource Cloud

BigLake menggunakan koneksi untuk mengakses Cloud Storage. Anda dapat menggunakan koneksi ini dengan satu tabel atau sekelompok tabel.

Pilih salah satu opsi berikut:

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

Memberikan akses ke akun layanan

Jika ingin membuat fungsi jarak jauh, Anda harus memberikan peran yang diperlukan ke Cloud Functions atau Cloud Run.

Jika ingin terhubung ke Cloud Storage, Anda harus memberikan akses hanya baca ke Cloud Storage kepada koneksi baru tersebut, sehingga BigQuery dapat mengakses file atas nama pengguna.

Pilih salah satu opsi berikut:

gsutil iam ch serviceAccount:MEMBER:objectViewer gs://example-bucket

## This grants permissions to the service account of the connection created in the last step.
resource "google_project_iam_member" "connectionPermissionGrant" {
        project = "PROJECT_ID"
        role = "roles/storage.objectViewer"
        member = format("serviceAccount:%s", google_bigquery_connection.connection.cloud_resource[0].service_account_id)
    }    

Berbagi koneksi dengan pengguna

Anda dapat memberikan peran berikut untuk mengizinkan pengguna membuat kueri data dan mengelola koneksi:

• roles/bigquery.connectionUser: memungkinkan pengguna menggunakan koneksi untuk terhubung dengan sumber data eksternal dan menjalankan kueri pada sumber data tersebut.

• roles/bigquery.connectionAdmin: memungkinkan pengguna mengelola koneksi.

Untuk informasi selengkapnya tentang peran dan izin IAM di BigQuery, baca Peran dan izin bawaan.

Pilih salah satu opsi berikut:

import com.google.api.resourcenames.ResourceName;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.iam.v1.Binding;
import com.google.iam.v1.Policy;
import com.google.iam.v1.SetIamPolicyRequest;
import java.io.IOException;

// Sample to share connections
public class ShareConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    shareConnection(projectId, location, connectionId);
  }

  static void shareConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ResourceName resource = ConnectionName.of(projectId, location, connectionId);
      Binding binding =
          Binding.newBuilder()
              .addMembers("group:example-analyst-group@google.com")
              .setRole("roles/bigquery.connectionUser")
              .build();
      Policy policy = Policy.newBuilder().addBindings(binding).build();
      SetIamPolicyRequest request =
          SetIamPolicyRequest.newBuilder()
              .setResource(resource.toString())
              .setPolicy(policy)
              .build();
      client.setIamPolicy(request);
      System.out.println("Connection shared successfully");
    }
  }
}

Langkah selanjutnya

• Pelajari berbagai jenis koneksi.
• Pelajari cara mengelola koneksi.
• Pelajari tabel BigLake.
• Pelajari cara membuat tabel BigLake.
• Pelajari cara mengupgrade tabel eksternal ke tabel BigLake.
• Pelajari tabel objek dan cara membuatnya.
• Pelajari cara menerapkan fungsi jarak jauh.