管理湖中的数据资产
本页面介绍了如何在现有 Dataplex 区域中添加、升级和移除 Cloud Storage 存储桶和 BigQuery 数据集作为资产。
概述
资产映射到存储在 Cloud Storage 或 BigQuery 中的数据。您可以将存储在单独的 Google Cloud 项目中的数据作为资产映射到湖中的单个区域中。您可以附加现有的 Cloud Storage 存储桶或 BigQuery 数据集,以便在数据湖中进行管理。
注意:附加资产不能由另一个数据区或数据湖管理。在你开始之前,如果您还没有,请在该湖中创建一个湖和一个 区域。
大多数gcloud lakes命令都需要一个位置。您可以使用--location标志指定位置。
访问控制
要删除资产,请授予包含权限 、 或 IAM 权限的 dataplex.lakes.deleteIAMdataplex.zones.delete角色 dataplex.assets.delete。Dataplex 特定角色roles/dataplex.admin和roles/dataplex.editor可用于授予这些权限。
要添加资产,请授予包含权限的 IAM 角色create- dataplex.lakes.create、dataplex.zones.create或dataplex.assets.create。角色roles/dataplex.admin并roles/dataplex.editor包含这些权限。
roles/owner 您还可以使用和roles/editor传统角色向用户或组授予权限。
Dataplex 服务必须在附加到 Dataplex 湖的资源上获得授权。对于正在创建湖的项目中的资源,这是自动和隐式完成的。对于其他项目,这必须明确地完成。
要从另一个项目添加 Cloud Storage 存储桶,必须向 Lake 服务帐户(位于控制台的 Lake 详细信息页面上)授予dataplex.serviceAgentCloud Storage 中的角色。
要从另一个项目添加 BigQuery 数据集,必须向 Lake 服务帐户授予该数据集的 BigQuery 管理员角色。
有关详细信息,请参阅Dataplex IAM 和访问控制。
为 Cloud Storage 存储桶授予角色
要将另一个项目的 Cloud Storage 存储桶附加到您的湖,您必须授予 Dataplex 服务帐户( 从控制台的湖详细信息页面检索)Dataplex 服务帐户角色 ( )。此角色为湖服务提供存储桶所需的管理员级别,以便可以在存储桶本身上设置权限。service-CUSTOMER_PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.comroles/dataplex.serviceAgent
为 BigQuery 数据集授予角色
要将另一个项目的 BigQuery 数据集附加到您的 Lake,您必须向数据集授予 Dataplex 服务帐户 BigQuery Admin 角色,以便可以在数据集上设置权限。
VPC 服务控制注意事项
Dataplex 不违反 VPC 服务控制边界。在向湖中添加资产之前,请确保底层存储桶或数据集与湖位于同一 VPC 服务控制网络中。
有关详细信息,请参阅使用 Dataplex 进行 VPC 服务控制。
添加资产
您可以在 Google Cloud 控制台中或通过发出 Dataplex API 方法来添加 Cloud Storage 存储桶或 BigQuery 数据集资产lakes.zones.assets.create。
注意:您可以同时在一个数据区下创建多个资产。添加资产时,您可以继续使用数据区。
添加成功后,数据区自动进入激活状态。如果失败,则数据区将回滚到之前的健康状态。
升级 Cloud Storage 存储桶资产
当您添加 Cloud Storage 存储桶类型的资产时,Dataplex 会自动为资产中托管的表发布 BigQuery 外部表。
当您升级 Cloud Storage 存储桶资产时,Dataplex 会删除附加的外部表并创建 BigLake 表。BigLake 表支持更好的细粒度安全性,包括行级、列级和动态数据屏蔽。
您可以在 Google Cloud 控制台中或通过发布 Dataplex API 方法 Patch来升级 Cloud Storage 存储桶资产。
删除资产
您可以在 Google Cloud 控制台中或通过发出 Dataplex API 方法来删??除 Cloud Storage 存储桶或 BigQuery 数据集资产lakes.zones.assets.delete。在将资产附加到其他数据区或湖之前,先将其从数据区或湖中移除。
注意:当您将 Cloud Storage 存储桶从数据区或数据湖中移除时,它不会被删除。如果需要,您必须明确删除它。
以下说明演示了如何使用 Google Cloud 控制台或 Dataplex API 删除 Dataplex 资产。