实时分析的架构模式：使用亚马逊 Kinesis 数据流创建 AI 应用

在这篇文章中，我们将深入探讨基于亚马逊 Kinesis 数据流的实时分析架构模式，特别关注 AI 应用的实现。

关键要点

Kinesis 数据流是一种强大的实时数据处理解决方案。AI 应用的架构模式涵盖了实时生成的商业智能、推荐系统以及物联网IoT数据流和推理。利用 Amazon QuickSight 和 Amazon Q，我们可以创建动态的 BI 仪表板，从而进行实时决策。通过 Kinesis 和 Amazon Personalize，企业可以实现个性化的用户体验。物联网设备数据的实时处理可以通过 AWS IoT Core 和 Amazon SageMaker 实现高效推理。

欢迎回到我们探索基于 亚马逊 Kinesis 数据流 的实时分析架构模式的旅程！在这个快速发展的时代，Kinesis 数据流作为一种多功能且强大的解决方案，能够应对从仪表板到推动 artificial intelligenceAI 应用的各种实时数据需求。本系列文章旨在优化识别和应用最适合商业需求的架构的过程，帮助高效启动系统开发并提供示例。

在我们深入探讨之前，我们建议您先查看 实时分析的架构模式使用亚马逊 Kinesis 数据流，第一部分，了解 Kinesis 数据流的基本功能与时间序列数据和事件源微服务的实时应用架构示例。

在这篇文章中，我们将聚焦于三种基于 Kinesis 数据流的 AI 应用场景：实时生成的商业智能BI、实时推荐系统，以及物联网IoT数据流和推理。

使用 Kinesis 数据流、Amazon QuickSight 和 Amazon Q 创建实时生成的 BI 仪表板

在当前的数据驱动环境中，您的组织可能拥有大量时效性信息，可以用来获得竞争优势。关键在于您能否有效地解析这些实时数据并将其转化为可操作的见解，这就是实时 BI 工具如动态仪表板的用武之地，它们帮助您进行数据聚合、分析和可视化，从而加速决策过程。

为帮助简化这一过程并赋能您的团队获取实时见解，亚马逊推出了 Amazon Q 在 QuickSight 中。Amazon Q 是一款基于生成 AI 的助手，您可以定制其回答问题、提供摘要、生成内容以及根据您的数据完成任务的能力。Amazon QuickSight 是一项快速的云端 BI 服务，能够提供商业洞察。

通过在 QuickSight 中使用 Amazon Q，您可以利用自然语言提示在几秒钟内构建、发现和分享有意义的见解，创建基于实时数据的上下文感知数据问答体验和互动数据故事。例如，您可以询问“哪种产品的年增长率最高？”Amazon Q 将自动解析问题来理解意图，检索相应的数据，并以数字、图表或表格的形式返回结果。

通过下图所示的架构，您的组织可以利用流数据的强大能力，转换为视觉上引人注目且信息丰富的仪表板，为您提供实时见解。凭借自然语言查询和自动洞察的强大功能，您将能够做出明智的决策，从而在当前竞争激烈的商业环境中立于不败之地。

工作流程的步骤如下：

速云梯速云梯官网使用 Amazon DynamoDB 作为主要数据存储的示例，Kinesis 数据流可以实时摄取来自 DynamoDB 等数据存储的数据，以捕获表中的项级变化。在数据捕获到 Kinesis 数据流后，您可以将数据实时摄取到分析数据库，如 Amazon Redshift。Amazon Redshift 流式摄取 通过允许您直接在数据流上创建物化视图来简化数据管道。借助此能力，您可以使用 SQL结构化查询语言直接连接并摄取来自 Kinesis 数据流的数据，以分析和运行复杂分析查询。数据在 Amazon Redshift 中后，您可以使用 QuickSight 创建业务报告。QuickSight 仪表板与 Amazon Redshift 之间的连接能够为您提供可视化和见解。结合 Amazon Q 的能力，您可以快速使用自然语言输入构建和优化分析与视觉效果。

如需了解客户如何使用 Kinesis 数据流构建近实时的 BI 仪表板，请参见以下链接：

SecurionPay 管理复杂的在线支付，使用 AWS 实现 300 的增长Vizio：大规模智能电视分析

使用 Kinesis 数据流和 Amazon Personalize 创建实时推荐系统

想象一下，创造一种用户体验，使得您的客户感觉到真正的重视和欣赏。通过实时获取用户行为数据，您可以根据每个用户的独特偏好和需求来定制其体验，从而在品牌和受众之间建立深厚的联系。您可以通过使用 Kinesis 数据流和 Amazon Personalize，这是一项全面托管的机器学习ML服务，来实现产品和内容推荐，而无需从头构建推荐引擎。

借助 Kinesis 数据流，您的组织可以轻松地将来自数百万个端点的用户行为数据实时摄取到集中数据流中。这使得 Amazon Personalize 等推荐引擎能够实时读取集中数据流并生成个性化的推荐。此外，您还可以使用增强的扇出为关键消费者提供专用吞吐量，从而进一步缩短实时推荐系统的响应时间。下图展示了使用 Amazon Personalize 构建实时推荐的典型架构。

步骤如下：

创建数据集组、模式和 数据集，以代表您的项目、交互和用户数据。通过 Amazon Simple Storage Service(Amazon S3) 将数据集导入数据集组后，选择 与您的用例匹配的最佳配方，然后 创建解决方案 来训练模型，并 创建解决方案版本。当您的解决方案版本完成后，您可以为解决方案版本创建活动。创建活动后，您可以在应用程序中集成对该活动的调用。这是指调用 GetRecommendations 或 GetPersonalizedRanking API 来请求 Amazon Personalize 的近实时推荐。您的网站或移动应用通过 AWS Lambda 函数以及 Amazon API Gateway 来接收业务应用的推荐。事件追踪器提供一个端点，允许您实时流式传输应用程序中发生的交互信息，您可以通过 PutEvents API 将事件信息发送回 Amazon Personalize。您可以使用 API Gateway、Kinesis 数据流和 Lambda 构建一个事件收集管道，以接收并转发交互给 Amazon Personalize。事件追踪器执行两个主要功能。首先，它持久化所有流式交互，以便在未来重新训练模型时被纳入考虑。这也是 Amazon Personalize 为新用户提供冷启动的方式。当新用户访问您的网站时，Amazon Personalize 会推荐热门项目。您流式传输少量事件后，Amazon Personalize 会立即开始调整推荐。

如需了解其他客户如何利用 Kinesis 数据流构建个性化推荐，请参考以下链接：

使用点击流数据推动业务成果MEDHOST 的心脏风险预测成功利用 AWS 分析服务使用 AWS 构建多渠道、数据驱动的患者参与平台

使用 AWS IoT Core 和 Amazon SageMaker 实现实时 IoT 数据流和推理

从自动开启的办公室灯光到实时监控病人健康的医疗设备，智能设备的激增使得世界变得更加自动化和互联。在技术层面上，物联网是指与互联网连接的设备网络，可以与其他设备和软件系统交换数据。许多组织日益依赖 IoT 设备如温度传感器和医疗设备传递的实时数据，以推动自动化、分析和 AI 系统。因此，选择一种具有极低延迟并能处理高数据吞吐量的流解决方案至关重要，以便支持实时 AI 推理。

通过 Kinesis 数据流，上百万设备的 IoT 数据可以同时写入一个集中数据流。或者，您可以使用 AWS IoT Core 安全连接并轻松管理 IoT 设备群，收集 IoT 数据，然后将此数据摄取至 Kinesis 数据流进行实时转换、分析和事件驱动的微服务。接着，您可以使用Amazon SageMaker进行实时推理。下图展示了使用 IoT 传感器数据的高级 流式架构。

步骤如下：

数据来源于医疗设备、汽车传感器和工业 IoT 传感器等 IoT 设备。这些遥测数据通过 AWS IoT Greengrass 收集，AWS IoT Greengrass 是一种开源 IoT 边缘运行时和云服务，帮助您的设备在数据生成地附近收集和分析数据。使用如 AWS IoT Core 的边缘到云接口服务，事件数据被摄取到云中。AWS IoT Core 是一款托管的云平台，能轻松安全地连接、管理和扩展设备。您也可以使用 AWS IoT SiteWise，这是一个托管服务，有助于你大规模收集、建模、分析和可视化来自工业设备的数据。或者，IoT 设备可以直接将数据发送到 Kinesis 数据流。AWS IoT Core 可以将摄取的数据流式传输到 Kinesis 数据流中。摄取的数据在接近实时的情况下用 Amazon Managed Service for Apache Flink 进行转换和分析。从数据仓库如 Amazon Redshift 中托管的查找数据可以进一步丰富流数据。Managed Service for Apache Flink 可在客户集成和流聚合例如 1 分钟或 5 分钟后，将流式数据持久化到 Amazon Redshift。存储在 Amazon Redshift 中的结果可以用于后续的 BI 报告服务，如 QuickSight。Managed Service for Apache Flink 还可以向 Lambda 函数写入数据，该函数可以调用 SageMaker 模型。在 SageMaker 中训练和部署机器学习模型后，通过 Lambda 在微批次中调用推理。推理后的数据被发送到 Amazon OpenSearch Service，以创建使用 OpenSearch Dashboards 的个性化监控仪表板。转换后的 IoT 传感器数据可以存储在 DynamoDB 中。您可以使用 AWS AppSync 为下游应用的 API 服务提供近实时数据查询。这些企业应用可以是移动应用或商业应用，以便近实时跟踪和监控 IoT 传感器数据。流式 IoT 数据可以写入 Amazon Data Firehose 交付流中，以将数据微批量存入 Amazon S3，供未来分析使用。

如需了解其他客户如何利用 Kinesis 数据流构建 IoT 设备监控解决方案，请参考以下链接：

实时检测工业流程中的异常和故障使用 IoT 传感器数据构建事件驱动架构通过 AWS 数字化转型您的工厂，使用机器停机监控使用 Amazon Kinesis、AWS Glue 和 Amazon SageMaker 构建预测性维护解决方案

结论

本文演示了使用 Kinesis 数据流及其与其他 AWS 服务集成构建低延迟 AI 应用的额外架构模式。希望构建生成性 BI、推荐系统和 IoT 数据流及推理的客户可以将这些模式作为设计云架构的起点。我们将会在这个系列的后续文章中继续添加新的架构模式。

如需详细了解架构模式，请参考以下资源：

使用亚马逊 Kinesis 数据流构建低延迟流应用亚马逊 Kinesis 数据流的集成使用亚马逊 Kinesis 数据流构建高度可用的流为高吞吐量和低延迟扩展 Kinesis 数据流使用 AWS Lambda 消费亚马逊 Kinesis 数据流的最佳实践使用 AWS IoT Core 和/或 Amazon Kinesis 从设备摄取数据的最佳实践近实时分析使用 Amazon Redshift 流式摄取亚马逊 Kinesis 数据流和 Amazon DynamoDB使用点击流数据推动业务成果使用 Amazon EventBridge Pipes 实施架构模式使用计算机视觉跟踪过道和收银台的顾客流量[使用 AWS Glue、AWS DMS 和 Amazon DynamoDB 实现流数据源与 CDC 数据的实时无服务器数据分析](https//awsamazoncom/blogs/bigdata/joinstreaming