Kochava 是一家实时数据公司,为数据驱动的营销人员和发布商提供领先的全渠道测量和归因解决方案。通过 Marketers Operating System? (m/OS),Kochava 提供可操作的数据,为营销人员提供一个无缝集成和管理客户身份、测量和数据控制的平台。通过在一个有凝聚力的操作系统中统一查看所有数据和关键的全渠道解决方案,该平台超越了数据聚合和报告。通过设计,m/OS 通过使数据可访问和可操作以最大化投资回报率来促进成功。
Kochava 拥有数以千计的客户,其中一些客户每分钟处理数百万次点击和印象。根据广告信号的类型、客户类型和所使用的具体产品,这些数据被处理并存储在我们垂直扩展的遗留系统中的本地 MySQL 或 Aerospike 集群中。客户可用的功能因使用的系统而异,从而为我们的客户创造了不一致的用户体验。遗留数据库在高峰期造成了系统性能瓶颈。这样的瓶颈是无法轻易解决的。我们需要一个单一的整合解决方案,可以促进我们所有当前和计划中的各种类别的功能,并且可以扩展以满足我们的实时处理要求。我们选择了 Cloud Spanner。
在 Kochava,我们要求每个客户的数据存储在他们自己的数据库中。为实现这一点,我们在配置 Kochava 客户帐户时自动创建 Spanner 资源。创建帐户后,我们会寻找一个现有的 Spanner 实例,其中包含另一个数据库的空间。如果一个不可用,我们将创建一个新的 Spanner 实例。当我们创建一个新的 Spanner 实例时,我们还会创建自动缩放资源和特定于帐户的服务帐户来访问数据库。
创建帐户及其对应的 Spanner 资源后,就可以摄取和处理数据了。广告信号数据针对每个帐户进行实时处理,并存储在 Cloud Spanner 中用于实时归因,存储在 BigQuery 中用于报告。其他需要为事件归因查找实时广告信号数据的系统通过 Ads Storage API 在 Cloud Spanner 上进行实时读取。
选择 Cloud Spanner 的好处
数据库整合
Ad Signal 数据之前存储在 MySQL、Aerospike 和 Spanner 中。每个存储引擎都有自己的架构、管理和应用程序。通过将所有实时访问存储整合到 Spanner,每个领域都得到了简化。这在随叫随到和培训期间特别有用,因为涉及的系统较少。这种整合大大减少了跨多个系统维护和开发产品功能所需的时间。
久经考验的性能
作为我们研究的一部分,我们使用具有类似吞吐量和访问模式的即将推出的产品(作为我们未来的广告信号系统迁移项目)作为数据库候选者的测试平台。我们尝试了各种数据库,Spanner 是最容易实现的,具有最好的性能,并提供最好的托管服务。在生产中启动并运行该项目两年后,我们对这项技术感到满意,并相信它可以为我们的大型迁移项目提供所需的东西。
部分性能测试包括向上和向下扩展以保持低成本,同时保持足够低的延迟和足够高的吞吐量,以便我们实时跨多个系统的所有数据处理管道,而不会出现任何停机时间。所有这些同时完全符合 ACID 标准意味着我们可以信任 Spanner 来存储我们的数据。
数据库
我们将 MySQL 用于各种各样的数据库。我们的开发人员知道如何编写 SQL,而我们直接从中迁移的数据库之一是基于 MySQL 的。拥有一种我们已经了解的熟悉的查询语言可以提高我们开发人员的工作效率。以 Aerospike 为例,我们必须有内部 Aerospike 专家为团队的其他成员提供指导。Cloud Spanner 符合 ANSI-SQL 标准,因此我们的开发人员能够自助服务。
完全托管
随着我们客户数量的增长(每个客户的流量都不可预测),我们的遗留数据库遇到了可扩展性问题。有时我们需要紧急启动一个新集群,或者不得不在没有任何停机时间的情况下加强现有集群。这涉及运维工程师前往数据中心和 DBA 定期交换数据库集群或迁移数据。如果我们需要一个新的 Spanner 实例,我们可以使用 Terraform 创建一个新实例。Spanner 实例可以通过配置它们使用的节点数量来水平扩展。这种缩放可以使用Spanner 自动缩放器根据负载动态完成. 自动缩放器使我们能够通过密切跟踪工作负载需求来优化成本,并且我们不再需要一直为峰值负载提供服务。这使我们能够在低使用率期间减少 30% 的消耗。我们可以将精力集中在使用数据库和构建应用程序上,而不是在我们的遗留数据库达到可扩展性限制时争先恐后地使事情正常运行。
企业特色
Spanner 支持许多企业级功能,例如生存时间(TTL)。使用 TTL,超过某个阈值的数据会自动从表中删除。我们不再需要运行后台程序来检查每一行以确定可以删除的内容,以保持我们的表较小并降低存储成本。
加盟未来
凭借 Spanner 的独特功能,Kochava 能够为客户提供可预测的性能、可根据客户需求扩展的基础架构以及一致的用户体验,从而推动移动应用分析的未来发展。在这里亲自尝试 Kochava !