项目展示

快速通过将 metaphactory 连接到 Amazon Neptune 来可视化和探索知识图谱

快速通过将 metaphactory 连接到 Amazon Neptune 来可视化和探索知识图谱

快速可视化和探索知识图谱:将 Metaphactory 连接到亚马逊海王星

关键要点

知识图谱整合组织的信息资产,提升信息的可用性。使用 Metaphactory 平台,结合亚马逊海王星实现知识图谱的探索与可视化。Neptune 是一个无服务器的图数据库服务,可以高效存储和查询大规模图数据。在本指南中,您将学习如何创建 Neptune 集群,部署 Metaphactory 并加载 RDF 数据集。

知识图谱可以整合和集成一个组织的信息资产,使其更容易被组织中的所有成员获取。这种技术在企业数据管理中越来越重要,因为它们能有效地进行数据整合和知识民主化,并帮助构建更智能的应用程序。

随着可扩展图数据库的兴起,图形已成为一种自然的方式来建模和表示关于世界的信息。与传统的关系型数据库管理数据相比,图模型灵活性更高,能更好地呈现现实世界中数据的多样性和异构性。

例如,如果用户对达芬奇的艺术作品感兴趣,图谱可以帮助轻松发现他的作品,并指引用户在卢浮宫找到它们。

本篇文章将展示如何使用基于亚马逊海王星的 Metaphactory 平台入门知识图谱。

Neptune 和 Metaphactory

Neptune 是一种无服务器的完全托管图数据库服务,能够存储大规模的属性图和 RDF 知识图。它有效地存储和导航高度连接的数据,并支持以毫秒延迟查询数十亿的关系。您可以使用 Neptune 创建支持社交网络、推荐引擎、欺诈检测、知识图谱、药物发现等多种应用的工作负载。

Metaphactory 是一款端到端的企业知识图谱平台,它将数据转化为可消耗、具有上下文和可操作的知识。作为 Neptune 的一个应用,Metaphactory 遵循开放和FAIR数据原则,简化领域专业知识的捕获与组织过程,同时提取可操作的洞见,促进整个企业的知识共享。

Metaphactory 提供丰富的知识管理功能,知识工程师可用于数据管理、转换、分析及构建终端用户应用。终端用户还将受益于用户友好的界面,方便知识的搜索、探索、导航可视化、消费和管理。

功能描述语义知识建模进行知识图谱的建模低代码应用构建简化应用程序构建终端用户交互提供友好界面便于用户与系统的互动

Neptune 与 Metaphactory 均支持W3C 语义网标准的SPARQL 11和RDF 11。

在一个单独的案例研究中,您可以查看西门子能源如何使用 Metaphactory 和 Neptune 管理大规模燃气涡轮的用户导向知识图谱应用。

解决方案概述

在本篇文章中,我们将加载一个示例 RDF 知识图谱到 Neptune 中,并使用 Metaphactory 进行搜索和探索。高层次的步骤如下:

创建 Neptune 集群。在亚马逊弹性计算云Amazon EC2中部署 Metaphactory。配置 Metaphactory 连接到 Neptune。使用 Metaphactory 将数据加载到 Neptune。使用 Metaphactory 搜索并探索数据。

本篇文章适合所有希望熟悉知识图谱的人士。您无需具备 RDF 数据模型或 SPARQL 查询语言的任何先前知识。

以下图示描绘了我们的设置架构,其中 Neptune 集群部署在一个虚拟私有云VPC中。Neptune 集群是一个实例集合,最低情况下可以包含 1 个实例。实例可以是按需自动扩展的无服务器,或不同实例类型。主实例作为单一写入实例,提供水平可扩展性以支持读取操作,通过创建额外的读取副本实例。每个集群都有一个集群端点,用于将请求委派给写入实例,以及一个读取端点,用于将只读查询分发至读取副本。

为了与 Neptune 集群交互,我们将一个 EC2 客户端实例部署到同一个 VPC 中,并利用安全组来配置权限。在我们的设置中,Metaphactory 应用作为客户端,通过其集群端点连接到 Neptune。这启动了一个 Web 服务器,接受端口 80 上的传入流量。您可以在设置过程中配置 Metaphactory 的可访问 IP 范围,以便限制对 Metaphactory 的访问,例如限制在公司的内部网络中。

客户需自行承担运行解决方案的成本。如需帮助估算成本,请访问AWS 价格计算器。

创建 Neptune 集群

有关设置 Neptune 集群的说明,请参阅开始使用亚马逊 Neptune。

在亚马逊 EC2 上部署 Metaphactory

您可以通过选择 AWS Marketplace 在 AWS Marketplace 上注册免费的 Metaphactory 试用版。试用确认邮件将提供有关如何访问 AWS Marketplace 上 Metaphactory 的说明。

订阅 Metaphactory 属于 Neptune 后,系统会提示您使用亚马逊 EC2 配置指南为 Metaphactory 启动 EC2 实例。测试 Metaphactory 时,t3medium 实例类型已足够。

在设置向导中,提供以下内容:

为了确保 Metaphactory 与 Neptune 之间的便捷通信,请提供 Neptune 运行的 VPC。虽然可选,但建议为生产应用启用AWS 身份与访问管理IAM 数据库身份验证。要将 Neptune 和 Metaphactory 配对,请参阅在 Neptune 中启用 IAM 数据库身份验证。还需定义实例的安全组权限。配置访问 Metaphactory 的 IP 范围和端口。

设置向导的其他所有参数都可以保留默认值。

完成设置向导后,带有 Metaphactory 的 EC2 实例通常将在 10 分钟内创建。

有关配置 EC2 实例以与亚马逊 Neptune 一起工作的更多信息,请参阅 Metaphactory 文档。

配置 Metaphactory 连接到 Neptune

最后一步是配置 Metaphactory 中对 Neptune 的连接。

使用用户名 admin 和 EC2 实例 ID 登录 Metaphactory,密码为您的 EC2 实例 ID。在启动页面配置存储库访问参数选择存储库预设模板中的 Neptune。

提供读写 SPARQL 端点的 URL。 Neptune 端点 URL 可以在 Neptune 控制台的集群设置中找到。

设置 IAM 数据库身份验证标志

选择 更新配置 以连接 Metaphactory 和 Neptune。

使用 Metaphactory 加载数据到 Neptune

我们使用由诺贝尔基金会提供的诺贝尔奖数据集作为我们的知识图谱。诺贝尔奖数据集主要围绕诺贝尔奖获奖者及其所获奖项。

此诺贝尔奖公共数据集在知识产权上遵循创意共享零CC0许可,并可根据服务条款注意查看自由使用。

Metaphacts 在一个公共的亚马逊简单存储服务Amazon S3存储桶中托管诺贝尔奖数据集,允许我们使用SPARQL 更新加载命令加载诺贝尔奖本体、词汇和实例数据。Metaphacts 团队已扩展最初由诺贝尔奖基金会提供的本体,并使用 SHACL 形状来根据本体中定义的模式验证数据。

在菜单栏选择 SPARQL 以访问查询构建器。

输入以下命令:LOAD lthttps//metaphactsdatasetss3amazonawscom/nobelprizebundletriggzgt

确认此操作,Metaphactory 将从 S3 存储桶加载所有必要的资产。

要检查加载操作是否成功,请依次访问以下页面并验证每个部分中至少存在一个条目:

资产,词汇

资产,本体资产,数据集

除了使用 SPARQL 更新加载外,您还可以通过以下 Metaphactory 功能之一加载数据:

在应用程序头部选择云图标,然后将所需的数据文件拖放到 Metaphactory 数据加载页面上。使用用户友好的 Metaphactory UI/UX,该界面利用Neptune 批量加载器。有关详细信息,请参阅将数据加载到亚马逊 Neptune。

使用 Metaphactory 搜索和探索数据

搜索是访问新数据的最常见入口点。Metaphactory 提供了开箱即用的搜索功能,以便通过搜索字段迅速获得知识。

在搜索字段中,输入您想起的任何诺贝尔奖获奖者的名字。这里以阿尔伯特爱因斯坦为例。

Metaphactory 提供三种默认视图,展示有关资源的数据:

图形默认语句页面

选择搜索结果以查看爱因斯坦资源的图形视图。

图形视图

图形视图提供通过跟随节点之间的边路过图形的逐步导航;搜索始终从所选资源的节点开始。

我们可以打开阿尔伯特爱因斯坦的 Connections 菜单,通过隶属关系连接到凯瑟尔威廉姆斯研究所现为马普物理研究所。进一步探索后,我们发现彼得德拜在 1936 年获得化学奖的诺贝尔奖也是与该大学有关联的。

快速通过将 metaphactory 连接到 Amazon Neptune 来可视化和探索知识图谱

选择导航菜单中的诺贝尔奖连接,然后添加特定诺贝尔奖的节点。您可以通过选择图中每个节点内的 符号来扩展任何节点。

知识图谱的威力在此例中得到了充分体现;您可以从图上快速了解数据的含义。

语句视图

有关资源的知识呈现为三元组,这是数据在图数据库中的存储方式。三元组由主体、对象和谓词组成。所选资源始终为主体,对象则是与之相关的事实。

语句可以是传入或传出。知识和应用工程师可以在构建终端用户应用时使用此视图,特别是在组合正确的 SPARQL 查询时。

以下截图展示了诺贝尔奖数据集中阿尔伯特爱因斯坦的传出语句。

速云梯机场(sycloud)

页面视图

在页面视图中,您可以通过使用 Metaphactory 的模板功能为每个资源或资源组例如整个本体类定义自定义视图。

要了解有关如何创建页面视图的更多信息,请查阅 页面视图配置 在 Metaphactory 网站上。

在未来的文章中,我们将详细介绍如何创建页面视图。

结论

在本篇文章中,我们展示了如何设置 Neptune 与 Metaphactory 平台,并利用这一软件栈探索和搜索 RDF 基础的知识图谱。

我们鼓励您尝试将自己的 RDF 数据加载到 Neptune,并使用 Metaphactory 进行探索。最简单的方法是在Metaphacts 开始页面注册一个试用版选择 AWS Marketplace 试用选项。您可以使用在本篇文章中讨论的所有探索技术来查看和查询存储在 Neptune 数据库中的任何 RDF 图,无需额外配置。

关于作者

Charles Ivie 是 AWS 亚马逊海王星团队的高级图形架构师。他在知识图谱领域拥有超过 15 年的设计、领导和实施图解决方案的经验。

Dmitry Pavlov 是 Metaphacts 的客户成功总监,负责确保客户对 Metaphactory 的使用体验积极愉快,并推动众多以客户为导向的产品改进项目,使该体验更加顺畅。

加载评论