Apache Pinot 0.5.0详细介绍

介绍Apache Pinot 0.5.0

我们很高兴地宣布,Apache Pinot 0.5.0已于2020年9月发布。Apache Pinot是一种实时分布式数据存储,旨在以低延迟响应OLAP查询。 在此版本中,我们继续增加新的查询和接收功能,同时使Pinot性能更高,易于管理和可靠。 这篇文章重点介绍了此版本中的一些功能。 完整的发行说明可以在这里找到。

新的Cluster Manager UI和查询控制台

Pinot 0.5.0用使用React TypeScript Material UI开发的应用程序替换了现有的控制台。 新的控制台具有现代的Material UI样式(请参见下面的示例)。 集群管理器UI中添加了更多状态页面,包括表详细信息页面,段详细信息页面,zookeeper数据浏览页面,查询响应统计信息页面等。 希望您会喜欢黑皮诺的新外观!

介绍Apache Pinot 0.5.0

> New Cluster Manager UI

介绍Apache Pinot 0.5.0

> New Query Console

Pinot查询中的Groovy转换UDF

从0.4.0开始,Pinot添加了使用Apache Groovy在摄取期间对转换功能的支持,该功能允许用户直接在模式中定义派生字段。在0.5.0中,还可以在Pinot查询中添加Groovy转换函数。Pinot查询现在可以作为UDF在查询中运行Groovy脚本(例如,字符串连接)。例如,您现在可以运行以下Pinot查询来连接columnA和columnB的返回值:

SELECT GROOVY(
// Function result type
‘{“returnType”: “STRING”, “isSingleValue”: true}’, 
// Function definition
‘arg0   “ “   arg1’,
// Arguments
columnA, columnB
) FROM myTable

此功能使查询结果的转换变得更加容易,并且全部由Pinot直接完成。

提取期间的JSON对象转换

在0.5.0之前,Pinot中的地图类型复杂数据将转换为字符串。但是,使用通用的jsonExtract函数无法解析存储的字符串的格式。因此,复杂对象中的字段无法轻松检索。

Pinot 0.5.0会在摄取期间重写JSON对象转换。这样,具有嵌套结构的复杂地图对象将转换为正确的JSON字符串。更重要的是,这些存储的JSON对象可以稍后使用jsonExtractScalar()函数进行查询。例如,现在您可以将以下内容添加到您的PQL查询中:

SELECT JSONEXTRACTSCALAR(
profile_json_str, // jsonField
‘$.name’,        // jsonPath to extract the scalar
‘STRING’         // ‘resultType’
) FROM myTable

JSON函数及其语法的完整列表可在此处找到。

支持JDBC客户端

Pinot 0.5.0继续扩展其对流行客户端应用程序和输入格式的支持。 它增加了对JDBC驱动程序的支持,以便本机Java JDBC客户端可以在Pinot上执行查询。 请查看此文档以获取示例和完整的文档。

支持协议缓冲区输入格式

Pinot 0.5.0继续扩展了对流行输入格式的支持。 现在,它支持以流行的Proto-buf格式提取数据输入。

在分段加载期间允许创建星型树

星型树索引是用于加快聚合查询(例如SUM,COUNT等)的索引。它以适度的空间开销提供了出色的查询延迟改进。以前,如果要向现有表添加星型树索引,则他/她必须重新创建整个表。Pinot 0.5允许用户修改表配置以添加Star-Tree索引,然后重新加载表段以动态添加索引。

添加对Pinot查询的地理支持

许多业务操作需要查询地理空间数据。 Pinot 0.5.0增加了对地理空间数据模型(包括几何和地理)的原生支持。 Pinot用户现在可以在其Pinot查询中添加常见的地理关系功能,例如ST_CONTAINS和ST_EQUALS。 可以在此PR中找到受支持功能的完整列表。 这是一个更大的项目的开始,该项目旨在为Pinot中的地理数据查询提供完整而有效的解决方案。 敬请关注!

下载页面:https://pinot.apache.org/download/

使用入门:https://docs.pinot.apache.org/getting-started

Slack 频道:https://communityinviter.com/apps/apache-pinot/apache-pinot

特别感谢

我们想花一点时间感谢Pinot社区对我们产品的支持。自2019年9月以来,我们看到对Pinot代码库的提交呈健康增长(请参见下图)。在这里,我们还要感谢提交者和贡献者对此版本所做的贡献。

介绍Apache Pinot 0.5.0

> Number of commits to Pinot Github since 09/19 (Source)

内容出处:,

声明:本网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。文章链接:http://www.yixao.com/soft/15315.html

发表评论

登录后才能评论