通常在这种情况下,问题在于与外部数据存储的连接——或者带宽不足,或者每个记录的同步写入,而不是成批写入。
验证ElasticSearch接收器是否存在问题(而不是网络堆栈配置)的一个简单方法是将其替换为废弃接收器(一个什么都不做的接收器),以查看这是否解决了问题。有点像
public static class NullSink<OUT> implements SinkFunction<OUT> {
@Override
public void invoke(OUT value, Context context) throws Exception {
}
}
更新:
问题是,您已将bulk.flush.max.actions设置为1,以防止连接到ElasticSearch服务器时出现任何缓冲。