全国服务热线:
0592-5794349

联系方式

电话:0592-5794349
业务咨询:17350028151 15359409915
QQ咨询:1803977211 491666614
地址:福建省厦门市湖里区岐山路一号亿华中心608A

新闻中心

由软件开发公司ApacheFlink实施的数据流架构

* 来源: * 作者: * 发表时间: 2019-11-26 16:22:09 * 浏览: 4
的数据流架构由软件开发公司ApacheFlink实施。 dataArtisans的应用工程总监JamieGrier最近在OSCON2016大会上发表了讲话,并谈到了使用ApacheFlink构建的数据流架构。它还讨论了数据流应用程序的构建块。与传统的静态数据集不同,数据流体系结构可用于处理随时间连续作为事件流生成的数据。与传统的集中式状态数据库和数据仓库相比,数据流应用程序可以处理事件流,并为历史事件汇总应用程序本地状态。流数据处理的一些优点包括:减少从信号到决策的处理延迟。以统一的方式处理实时和历史数据。Timetravel查询ApacheFlink是一个开源的分布式流和批处理数据处理平台。 Flink的诞生受到GoogleDataFlow模型的启发,该模型支持以Java和Scala语言开发的StreamProcessing API。与其他流数据处理框架相比,Flink中没有微批处理数据。而是使用一次一次消息的流处理技术。 AmiJamie介绍了状态流处理并显示了Flink应用程序的代码示例,以及使用开源时间序列数据库和Graphana可视化工具Influxdb进行监视的方法。同时,他还介绍了流处理过程中的窗口化概念,以及处理时间和事件时间的窗口化概念。处理时间窗口会影响流数据的分析,并可能在数据处理期间导致某些错误。在事件时间方法中,窗口来自数据,而不是时钟时间。对于事件时间,可以通过数据中嵌入的时间戳来处理数据,因此可以获得更多结果。 Jamie还介绍了在应用程序中使用Flink时的错误处理和容错机制。 Flink中的Savepoints功能可以更新程序和Flink群集而不会丢失任何状态。如果要流式传输实时数据,此时的保存点数据快照将非常重要。如果您想了解有关ApacheFlink的更多信息,请访问他们的网站。此外,FlinkForward2016Conference会议将于9月在柏林举行,提交提案的截止日期为2016年6月30日。