Workflows dan Cloud Composer dapat digunakan dalam orkestrasi layanan guna menggabungkan layanan untuk menerapkan fungsi aplikasi atau melakukan pemrosesan data. Meskipun mirip secara konseptual, masing-masing dirancang untuk serangkaian kasus penggunaan yang berbeda. Halaman ini membantu Anda memilih produk yang tepat untuk kasus penggunaan Anda.
Perbedaan utama
Perbedaan utama antara Workflows dan Cloud Composer adalah jenis arsitektur yang dirancang untuk didukung oleh setiap produk.
Workflow mengatur beberapa layanan berbasis HTTP menjadi alur kerja yang tahan lama dan stateful. Fungsi ini memiliki latensi rendah dan dapat menangani eksekusi dalam jumlah besar. Layanan ini juga sepenuhnya serverless.
Alur kerja sangat bagus untuk menggabungkan microservice, mengotomatiskan tugas infrastruktur seperti memulai atau menghentikan VM, dan berintegrasi dengan sistem eksternal. Konektor alur kerja juga mendukung urutan operasi yang sederhana di layanan Google Cloud seperti Cloud Storage dan BigQuery.
Cloud Composer dirancang untuk mengatur alur kerja berbasis data (terutama ETL/ELT). Alat ini dibuat berdasarkan project Apache Airflow, tetapi Cloud Composer terkelola sepenuhnya. Cloud Composer mendukung pipeline Anda di mana pun berada, termasuk di infrastruktur lokal atau di beberapa platform cloud. Semua logika di Cloud Composer, termasuk tugas dan penjadwalan, dinyatakan dalam Python sebagai file definisi Directed Acyclic Graph (DAG).
Cloud Composer paling cocok untuk beban kerja batch yang dapat menangani latensi selama beberapa detik di antara eksekusi tugas. Anda dapat menggunakan Cloud Composer untuk mengatur layanan di pipeline data Anda, seperti memicu tugas di BigQuery atau memulai pipeline Dataflow. Anda dapat menggunakan operator yang sudah ada untuk berkomunikasi dengan berbagai layanan, dan ada lebih dari 150 operator untuk Google Cloud saja.
Perbandingan fitur mendetail
| Fitur | Workflows | Cloud Composer |
|---|---|---|
| Sintaksis | Sintaksis alur kerja dalam format YAML atau JSON | Python |
| Model status | Kontrol alur imeratif | DAG deklaratif dengan resolusi dependensi otomatis |
| Integrasi | Permintaan dan connectors | Operator dan Sensor Airflow |
| Meneruskan data di antara langkah | 512 KB untuk variabel | 48 KB1 untuk XCom |
| Pemicu eksekusi dan penjadwalan | gcloud CLI, Konsol Google Cloud, Workflows API, library klien Workflows, Cloud Scheduler | Jadwal mirip cron dalam file definisi DAG, Airflow Sensors |
| Pola asinkron |
|
Polling |
| Eksekusi paralel | Eksekusi serentak dari alur kerja yang sama atau dalam alur kerja menggunakan langkah paralel | Otomatis berdasarkan dependensi |
| Latensi eksekusi | Milidetik | Detik |
| Berdasarkan open source | Tidak | Ya (Apache Airflow) |
| Model penskalaan | Serverless (meningkatkan skala hingga jumlah permintaan dan turun hingga nol) | Disediakan |
| Model penagihan | Berdasarkan penggunaan (per langkah yang dilakukan) | Berdasarkan kapasitas yang disediakan |
| Fitur pemrosesan data | Tidak | Backfills, kemampuan untuk menjalankan ulang DAG |
-
Kode sumber untuk airflow.models.xcom. Dokumentasi Apache Airflow. 2 Agustus 2021. ↩