我有一份Flink工作,它从Kafka读取数据,执行某些聚合,并将结果写入ElasticSearch索引。我看到源头有很高的反压力。高反压力导致数据从Kafka缓慢读取,我看到在网络堆栈中排队的数据(netstat recvq显示数万字节的数据卡在源Kafka连接中,数据最终被读取),这反过来导致数据在一段时间后陷入ElasticSearch,并且这种滞后持续增加。
源每分钟生成约17500条记录,Flink作业为每个传入记录分配(事件)时间戳,执行12种不同类型的keyby,在1分钟的滚动窗口中调整事件,对该键化的Windows流执行聚合操作,最后将结果写入12种不同的ElasticSearch索引(每次写入都是插入)。
问题是,写入ElasticSearch的数据开始滞后,因此仪表盘结果(建立在ElasticSearch之上)不再实时。我的理解是,这是因为反压力的建立。不知道如何解决这个问题。集群本身是基于VM的单节点独立集群,具有64GB RAM(任务管理器配置为使用20GB)和16个VCPUS。没有证据表明(从htop上看)CPU或内存受到限制。只有一个任务管理器,这是这个集群上唯一的Flink作业。
我不确定这个问题是由于集群中的某些本地资源问题,还是因为ElasticSearch的写入速度慢。我已经将setBulkFlushMaxActions设置为1(正如我在任何地方看到的所有代码示例中所做的那样),是否还需要设置setBulkFlushInterval和/或setBulkFlushMaxSizeInMB?
我经历过
https://www.da-platform.com/flink-forward-berlin/resources/improving-throughput-and-latency-with-flinks-network-stack
但尚未尝试调整幻灯片19中列出的选项,不确定要为这些参数设置什么值。
最后,我认为在IntellijIDE中运行同一个作业时,我看不到同样的问题。
我将排除所有聚合,然后逐个将它们添加回去,以查看是否存在触发此问题的特定聚合?
任何特定的指针都会很受欢迎,还会尝试setBulkFlushInterval和setBulkFlushMaxSizeInMB。
更新日期:2019年1月29日
似乎两个节点都以非常高的堆使用率运行,所以GC一直在运行,试图清除JVM中的空间。将使物理内存从16增加到32GB,然后重新启动节点。希望能在24小时内解决问题。