Flink Flink运行时组件和基于Yarn的任务提交 Flink任务提交后首先会启动一个 Client进程负责作业的编译与提交,它首先将用户编写的代码编译为一个 JobGraph... 2021-03-16 浏览(462) 评论(0) 阅读全文
Flink Windows窗口函数(增量聚合) ProcessWindowFunction可以与ReduceFunction或AggregateFunction组合在一起,在元素到达窗口时增量地聚合它们。当窗口关闭时,ProcessWindowFunction将提供聚合的结果。使得ProcessWindowFunction在能获取到窗口元信息的同时增量地计算窗口。 2021-03-09 浏览(1,006) 评论(0) 阅读全文
Flink Flink Table Api详解(算子) Table API是用于流和批处理的统一的关系API。Table API查询可以在批处理或流输入上运行而无需修改。Table API是SQL语言的超集,是专门为使用Apache Flink设计的。Table API是用于Scala和Java的语言集成的API。 2021-01-06 浏览(1,305) 评论(0) 阅读全文
Flink Table Api & SQL查询配置(状态清理) 无论Table API和SQL查询的输入是有界批处理输入还是无界流输入,其语义都相同。在许多情况下,对流输入的连续查询能够计算与脱机计算的结果相同的准确结果。但是,这在一般情况下是不可能的,因为连续查询必须限制它们所维护的状态的大小,以避免存储空间用完并能够长时间处理无限制的流数据 2021-01-06 浏览(939) 评论(0) 阅读全文