当 Jeff Barr 在 2016 年首次宣布推出 Amazon Athena时，它改变了我对与数据交互的看法。借助Amazon Athena，我只需几个步骤即可与我的数据进行交互 — 从在 Athena 中创建表开始，使用连接器加载数据，以及使用 ANSI SQL 标准进行查询。

随着时间的推移，金融服务、医疗保健和零售等各个行业都需要对各种格式和大小的数据进行更复杂的分析。为了促进复杂的数据分析，组织采用了Apache Spark。Apache Spark 是一种流行的开源分布式处理系统，旨在为任何规模的数据运行快速分析工作负载。

但是，为交互式应用程序构建运行 Apache Spark 的基础架构并不容易。客户需要在应用程序之上供应、配置和维护基础设施。更不用说执行最佳调整资源以避免应用程序启动缓慢和闲置成本。

介绍 Amazon Athena for Apache Spark

今天，我很高兴地宣布推出Amazon Athena for Apache Spark。借助此功能，我们可以运行 Apache Spark 工作负载，使用 Jupyter Notebook 作为接口在 Athena 上执行数据处理，并使用 Athena API 以编程方式与 Spark 应用程序交互。我们可以在一秒钟内启动 Apache Spark，而无需手动配置基础设施。

在 Athena 控制台上，您现在可以使用 Jupyter 笔记本运行笔记本并使用 Python 运行 Spark 应用程序。在这个 Jupyter notebook 中，客户可以使用 Spark 应用程序查询各种来源的数据并执行多次计算和数据可视化，而无需上下文切换。

在下一页，我给出了这个工作组的名称和描述。

在同一页面上，我可以选择 Apache Spark 作为 Athena 的引擎。此外，我还需要指定一个具有适当权限的服务角色，以便在 Jupyter 笔记本中使用。然后，我检查了 Turn on example notebook，这使我可以轻松开始在 Athena 中使用 Apache Spark。我还可以选择加密由 Athena 管理的 Jupyter 笔记本或使用我在AWS Key Management Service (AWS KMS)中配置的密钥。

现在，我可以看到已经在 Athena 中创建的工作组。

要查看此工作组的详细信息，我可以从工作组中选择链接。由于我在创建此工作组时还检查了打开示例笔记本，因此我有一个 Jupyter 笔记本来帮助我入门。Amazon Athena 还让我可以灵活地导入现有笔记本，我可以使用导入文件从我的笔记本电脑上传这些笔记本，或者通过选择创建笔记本 从头开始创建新笔记本。

当我选择 Jupyter notebook 示例时，我可以开始构建我的 Apache Spark 应用程序。

当我运行 Jupyter notebook 时，它会自动在工作组中创建一个会话。随后，每次我在 Jupyter Notebook 中运行计算时，所有结果都会记录在会话中。这样，Athena 通过选择计算 ID为我提供了完整的信息来查看每个计算，这将我带到了计算详细信息页面。在这里，我可以查看代码 和 计算结果 。

在会话中，我可以调整Coordinator 大小和Executor 大小，默认为 1 个数据处理单元 (DPU)。一个 DPU 由 4 个 vCPU 和 16 GB RAM 组成。如果我有复杂的计算，更改为更大的 DPU 可以让我更快地处理任务。

编程 API 访问

除了使用内联代码和--code-block标志，我还可以使用以下命令从 Python 文件传递??输入:

定价和可用性Amazon Athena for Apache Spark 现已在以下 AWS 区域推出:美国东部（俄亥俄）、美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、亚太地区（东京）和欧洲（爱尔兰）。要使用此功能，您需要根据数据处理单元或 DPU 每小时定义的计算使用量付费。如需更多信息，请在此处查看我们的定价页面。