社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Elasticsearch

Flink:处理反压力(来源:Kafka,水槽:ElasticSearch)

Amit Arora • 7 年前 • 2612 次点击  

我有一份Flink工作,它从Kafka读取数据,执行某些聚合,并将结果写入ElasticSearch索引。我看到源头有很高的反压力。高反压力导致数据从Kafka缓慢读取,我看到在网络堆栈中排队的数据(netstat recvq显示数万字节的数据卡在源Kafka连接中,数据最终被读取),这反过来导致数据在一段时间后陷入ElasticSearch,并且这种滞后持续增加。

源每分钟生成约17500条记录,Flink作业为每个传入记录分配(事件)时间戳,执行12种不同类型的keyby,在1分钟的滚动窗口中调整事件,对该键化的Windows流执行聚合操作,最后将结果写入12种不同的ElasticSearch索引(每次写入都是插入)。

问题是,写入ElasticSearch的数据开始滞后,因此仪表盘结果(建立在ElasticSearch之上)不再实时。我的理解是,这是因为反压力的建立。不知道如何解决这个问题。集群本身是基于VM的单节点独立集群,具有64GB RAM(任务管理器配置为使用20GB)和16个VCPUS。没有证据表明(从htop上看)CPU或内存受到限制。只有一个任务管理器,这是这个集群上唯一的Flink作业。

我不确定这个问题是由于集群中的某些本地资源问题,还是因为ElasticSearch的写入速度慢。我已经将setBulkFlushMaxActions设置为1(正如我在任何地方看到的所有代码示例中所做的那样),是否还需要设置setBulkFlushInterval和/或setBulkFlushMaxSizeInMB?

我经历过 https://www.da-platform.com/flink-forward-berlin/resources/improving-throughput-and-latency-with-flinks-network-stack 但尚未尝试调整幻灯片19中列出的选项,不确定要为这些参数设置什么值。

最后,我认为在IntellijIDE中运行同一个作业时,我看不到同样的问题。

我将排除所有聚合,然后逐个将它们添加回去,以查看是否存在触发此问题的特定聚合?

任何特定的指针都会很受欢迎,还会尝试setBulkFlushInterval和setBulkFlushMaxSizeInMB。

更新日期:2019年1月29日 似乎两个节点都以非常高的堆使用率运行,所以GC一直在运行,试图清除JVM中的空间。将使物理内存从16增加到32GB,然后重新启动节点。希望能在24小时内解决问题。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/30728
文章 [ 2 ]  |  最新文章 7 年前