社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  David Anderson  »  全部回复
回复总数  1
7 年前
回复了 David Anderson 创建的主题 » Flink:处理反压力(来源:Kafka,水槽:ElasticSearch)

通常在这种情况下,问题在于与外部数据存储的连接——或者带宽不足,或者每个记录的同步写入,而不是成批写入。

验证ElasticSearch接收器是否存在问题(而不是网络堆栈配置)的一个简单方法是将其替换为废弃接收器(一个什么都不做的接收器),以查看这是否解决了问题。有点像

public static class NullSink<OUT> implements SinkFunction<OUT> {
    @Override
    public void invoke(OUT value, Context context) throws Exception {
    }
}

更新:

问题是,您已将bulk.flush.max.actions设置为1,以防止连接到ElasticSearch服务器时出现任何缓冲。