Flink Flink算子间数据传递模式 算子之间传输数据的形式可以是one-to-one(forwarding)的模式也可以是redistributing的模式 2021-03-18 浏览(689) 评论(0) 阅读全文
Flink Flink运行时组件和基于Yarn的任务提交 Flink任务提交后首先会启动一个 Client进程负责作业的编译与提交,它首先将用户编写的代码编译为一个 JobGraph... 2021-03-16 浏览(462) 评论(0) 阅读全文
Flink Windows窗口函数(增量聚合) ProcessWindowFunction可以与ReduceFunction或AggregateFunction组合在一起,在元素到达窗口时增量地聚合它们。当窗口关闭时,ProcessWindowFunction将提供聚合的结果。使得ProcessWindowFunction在能获取到窗口元信息的同时增量地计算窗口。 2021-03-09 浏览(1,006) 评论(0) 阅读全文
Flink Flink广播流checkpoints失败 Checkpoint triggering task Source: Collection Source (1/1) of job xxxx is not in state RUNNING but FINISHED instead. Aborting checkpoint. 2021-03-08 浏览(862) 评论(0) 阅读全文
Flink Flink窗口起始时间计算 Flink中窗口的时间不是根据进入窗口的第一个元素计为窗口的开始时间和加Size计窗口结束时间,而是根据Flink内置计算公式`timestamp - (timestamp - offset + windowSize) % windowSize`计算。 2021-03-05 浏览(1,555) 评论(0) 阅读全文
Flink 如何理解Flink中Window? Streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而 window 是一种切割无限数据 为有限块进行处理的手段。 2021-03-03 浏览(524) 评论(0) 阅读全文
Flink 低级处理函数ProcessFunction ProcessFunction 函数是低阶流处理算子,可以访问流应用程序所有基本构建块: - 事件 (数据流元素) - 状态 (容错和一致性,仅用于keyed stream) - 定时器 (事件时间和处理时间,仅用于keyed stream) 2021-02-23 浏览(665) 评论(0) 阅读全文
Flink Flink1.12 新特性 本文的 Release 文档描述了在 Flink 1.11 和 Flink 1.12 之间更改的重要方面,例如配置,行为或依赖项。若是您打算将 Flink 版本升级到 1.12,请仔细阅读这些说明。 2021-02-20 浏览(1,106) 评论(0) 阅读全文
Flink Flink消费Kafka指定offset的五种方式 - setStartFromGroupOffsets - setStartFromSpecificOffsets - setStartFromEarliest - setStartFromTimestamp - setStartFromLatest 2021-01-26 浏览(2,417) 评论(0) 阅读全文