创建和设置 Cloud 资源连接

作为 BigQuery 管理员，您可以创建 Cloud 资源连接，以便数据分析师能够��行以下任务：

• 使用 BigLake 表查询结构化 Cloud Storage 数据。BigLake 表允许您使用访问权限委派查询外部数据。
• 使用对象表查询 Cloud Storage 中的非结构化数据。
• 在 Cloud Run functions 或 Cloud Run 中使用任何支持的语言实现远程函数。

如需详细了解连接，请参阅连接简介。

准备工作

• 启用 BigQuery Connection API。

  启用 API

• 如需获得创建 Cloud Resource 连接所需的权限，请让您的管理员为您授予以下 IAM 角色：

  • 针对项目的 BigQuery Connection Admin (roles/bigquery.connectionAdmin)
  • 针对存储桶的 Storage Object Viewer (roles/storage.objectViewer)

  如需��细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

  您也可以通过自定义角色或其他预定义角色来获取所需的权限。

  如果您想要使用基于 Cloud Storage 的 BigLake 表或对象表查询非结构化数据，则与连接关联的服务账号还必须在包含外部数据的存储桶上具有 Storage Viewer (roles/storage.viewer) 角色。
  
• 确保您的 Google Cloud SDK 为 366.0.0 版或更高版本：

  gcloud version

  如有需要，请更新 Google Cloud SDK。

• 可选：对于 Terraform，请使用 Terraform GCP 4.25.0 版或更高版本。您可以从 HashiCorp Terraform 下载页面下载最新版本。

位置注意事项

如果您使用 Cloud Storage 存储数据文件，我们建议您使用 Cloud Storage 单区域或双区域存储桶（而非多区域存储桶），以实现最佳性能。

创建 Cloud 资源连接

BigLake 使用连接资源访问 Cloud Storage。您可以将此连接用于单个表或一组表。

从下列选项中选择一项：

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

向服务账号授予访问权限

如果要创建远程函数，您必须向 Cloud Run functions 或 Cloud Run 授予所需的角色。

如果您想连接到 Cloud Storage，则必须向新的连接授予对 Cloud Storage 的只读权限，以便 BigQuery 能够代表用户访问文件。

从下列选项中选择一项：

gcloud storage buckets add-iam-policy-binding gs://example-bucket \
--member=serviceAccount:MEMBER \
--role=roles/storage.objectViewer

## This grants permissions to the service account of the connection created in the last step.
resource "google_project_iam_member" "connectionPermissionGrant" {
        project = "PROJECT_ID"
        role = "roles/storage.objectViewer"
        member = format("serviceAccount:%s", google_bigquery_connection.connection.cloud_resource[0].service_account_id)
    }    

与用户共享连接

您可以授予以下角色，以使用户可以查询数据并管理连接：

• roles/bigquery.connectionUser：允许用户使用连接与外部数据源建立连接，并对其运行查询。

• roles/bigquery.connectionAdmin：允许用户管理连接。

如需详细了解 BigQuery 中的 IAM 角色和权限，请参阅预定义的角色和权限。

从下列选项中选择一项：

import com.google.api.resourcenames.ResourceName;
import com.google.cloud.bigquery.connection.v1.ConnectionName;
import com.google.cloud.bigqueryconnection.v1.ConnectionServiceClient;
import com.google.iam.v1.Binding;
import com.google.iam.v1.Policy;
import com.google.iam.v1.SetIamPolicyRequest;
import java.io.IOException;

// Sample to share connections
public class ShareConnection {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String location = "MY_LOCATION";
    String connectionId = "MY_CONNECTION_ID";
    shareConnection(projectId, location, connectionId);
  }

  static void shareConnection(String projectId, String location, String connectionId)
      throws IOException {
    try (ConnectionServiceClient client = ConnectionServiceClient.create()) {
      ResourceName resource = ConnectionName.of(projectId, location, connectionId);
      Binding binding =
          Binding.newBuilder()
              .addMembers("group:example-analyst-group@google.com")
              .setRole("roles/bigquery.connectionUser")
              .build();
      Policy policy = Policy.newBuilder().addBindings(binding).build();
      SetIamPolicyRequest request =
          SetIamPolicyRequest.newBuilder()
              .setResource(resource.toString())
              .setPolicy(policy)
              .build();
      client.setIamPolicy(request);
      System.out.println("Connection shared successfully");
    }
  }
}

后续步骤

• 了解不同的连接类型。
• 了解如何管理连接。
• 了解 BigLake 表。
• 了解如何创建 BigLake 表。
• 了解如何将外部表升级到 BigLake 表。
• 了解对象表以及如何创建这些表。
• 了解如何实现远程函数。