Membuat dan menjalankan alur kerja SQL di Dataform

Panduan memulai ini memandu Anda melalui proses berikut di Dataform untuk membuat alur kerja SQL dan menjalankannya di BigQuery:

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Aktifkan API BigQuery and Dataform.

    Mengaktifkan API

  5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  7. Aktifkan API BigQuery and Dataform.

    Mengaktifkan API

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan semua tugas dalam tutorial ini, minta administrator Anda untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat repositori Dataform

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Klik Create repository.

  3. Di halaman Create repository, lakukan hal berikut:

    1. Di kolom Repository ID, masukkan quickstart-repository.

    2. Dalam daftar Region, pilih europe-west4.

    3. Klik Create.

Membuat dan melakukan inisialisasi ruang kerja pengembangan Dataform

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Klik quickstart-repository.

  3. Klik Create development workspace.

  4. Di jendela Create development workspace, lakukan langkah berikut:

    1. Di kolom ID Ruang Kerja, masukkan quickstart-workspace.

    2. Klik Create.

    Halaman ruang kerja pengembangan akan muncul.

  5. Klik Inisialisasi ruang kerja.

Membuat tampilan

Di bagian berikut, Anda menentukan tampilan yang nantinya akan digunakan sebagai sumber data untuk tabel.

Membuat file SQLX untuk menentukan tampilan

  1. Di panel Files, di samping definitions/, klik menu More.

  2. Klik Create file.

  3. Di panel Create new file, lakukan langkah berikut:

    1. Di kolom Add a file path, masukkan definitions/quickstart-source.sqlx.

    2. Klik Create file.

Menentukan tampilan

  1. Di panel Files, luaskan folder definisi.

  2. Klik definitions/quickstart-source.sqlx.

  3. Dalam file tersebut, masukkan cuplikan kode berikut:

    config {
      type: "view"
    }
    
    SELECT
      "apples" AS fruit,
      2 AS count
    UNION ALL
    SELECT
      "oranges" AS fruit,
      5 AS count
    UNION ALL
    SELECT
      "pears" AS fruit,
      1 AS count
    UNION ALL
    SELECT
      "bananas" AS fruit,
      0 AS count
    
  4. Klik Format.

Membuat tabel

Di bagian berikut, Anda akan menentukan jenis tabel dalam file SQLX, lalu menulis pernyataan SELECT untuk menentukan struktur tabel dalam file yang sama.

Membuat file SQLX untuk definisi tabel

  1. Di panel Files, di samping definitions/, klik menu More, lalu pilih Create file.

  2. Di kolom Add a file path, masukkan definitions/quickstart-table.sqlx.

  3. Klik Create file.

Menentukan jenis tabel, struktur, dan dependensi

  1. Di panel Files, luaskan direktori definitions/.

  2. Pilih quickstart-table.sqlx, lalu masukkan jenis tabel dan pernyataan SELECT berikut:

    config {
      type: "table"
    }
    
    SELECT
      fruit,
      SUM(count) as count
    FROM ${ref("quickstart-source")}
    GROUP BY 1
    
  3. Klik Format.

Setelah menentukan jenis tabel, Dataform akan menampilkan error validasi kueri karena quickstart-source belum ada di BigQuery. Error ini akan diatasi saat Anda menjalankan alur kerja SQL nanti dalam tutorial ini.

Memberikan akses Dataform ke BigQuery

Untuk menjalankan alur kerja di BigQuery, akun layanan Dataform harus memiliki peran yang diperlukan berikut ini:

  • BigQuery Data Editor pada project tempat Dataform memerlukan akses baca dan tulis. File tersebut biasanya mencakup project yang menghosting repositori Dataform Anda.
  • BigQuery Data Viewer pada project tempat Dataform memerlukan akses hanya baca.
  • BigQuery Job User di project yang menghosting repositori Dataform Anda.

Untuk memberikan peran ini, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman IAM.

    Buka halaman IAM

  2. Klik Tambahkan.

  3. Di kolom New principals, masukkan ID akun layanan Dataform Anda.

  4. Di menu drop-down Select a role, pilih peran BigQuery Job User.

  5. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Editor.

  6. Klik Add another role, lalu di menu drop-down Select a role, pilih peran BigQuery Data Viewer.

  7. Klik Simpan.

Menjalankan alur kerja

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Di halaman quickstart-workspace, klik Start execution.

  3. Klik Semua tindakan.

  4. Di panel Execute, klik Start execution.

    Dataform menggunakan setelan repositori default untuk membuat konten alur kerja Anda dalam set data BigQuery yang disebut dataform.

Lihat log eksekusi di Dataform

  1. Di halaman quickstart-repository, klik Workflow Execution Logs.

  2. Untuk melihat detail eksekusi Anda, klik eksekusi terbaru.

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data yang dibuat di BigQuery

Agar tidak menimbulkan biaya untuk aset BigQuery, hapus set data yang bernama dataform.

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Penjelajah, luaskan project Anda lalu pilih dataform.

  3. Klik menu Tindakan, lalu pilih Hapus.

  4. Pada dialog Delete dataset, masukkan delete ke dalam kolom, lalu klik Delete.

Menghapus ruang kerja pengembangan Dataform

Pembuatan ruang kerja pengembangan formulir data tidak dikenai biaya, tetapi untuk menghapus ruang kerja pengembangan, Anda dapat mengikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Klik quickstart-repository.

  3. Di tab Development workspace, klik menu More oleh quickstart-workspace, lalu pilih Delete.

  4. Untuk mengonfirmasi, klik Delete.

Menghapus repositori Dataform

Pembuatan repositori formulir data tidak dikenai biaya, tetapi untuk menghapus repositori, Anda dapat mengikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Dengan quickstart-repository, klik menu Lainnya di , lalu pilih Hapus.

  3. Di jendela Delete repository, masukkan nama repositori untuk mengonfirmasi penghapusan.

  4. Untuk mengonfirmasi, klik Delete.

Langkah selanjutnya