注册    登录
关注
Py学习  »  zookeeper

如何获取zookeeper中存储的偏移量

MSR SW • 4 年前 • 1045 次点击  

需要为我们的应用程序(kafka 0.10)生成消费者延迟度量,其中偏移量存储在zookeeper中。寻找Java API或其他方法来获取存储在ZooKeKER中的偏移量。

Python社区是高质量的Python/Django开发社区
本文地址：http://www.python88.com/topic/44246
Reply
 
1045 次点击  
文章 [ 2 ]  |  最新文章 4 年前
MSR SW
Reply   •   1 楼
MSR SW    5 年前

谢谢你的建议。因为我们正在寻找zookeeper中存储的偏移量,所以需要使用 bin/kafka-consumer-groups.sh--zookeeper--descripe--group

相应的scala api在

ConsumerGroupCommand.scala

Nishu Tayal
Reply   •   2 楼
Nishu Tayal    5 年前

如果从命令行进行尝试,则可以按以下方式使用kafka-consumer-groups.sh脚本。 

bin/kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <group-name>

它将按以下方式返回数据: 

    TOPIC       PARTITION  CURRENT-OFFSET  LOG-END-OFFSET      LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
testtopic-1         0          13164704        13164773        69         test-consumer-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0                     test-consumer              
testtopic-1         1          13161581        13161650        69         test-consumer-agent-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0               test-consumer   
testtopic-1         2          12229509        12229578        69         test-consumer-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0                     test-consumer
testtopic-1         3          86              86              0          test-consumer-agent-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0               test-consumer

如果使用Java,则可以使用 AdminClient.describeConsumerGroups 方法如下:

http://kafka.apache.org/20/javadoc/org/apache/kafka/clients/admin/AdminClient.html#describeConsumerGroups-java.util.Collection-

登录后回复
关于   移动版   ·   三行代码   ·   今天看啥   ·   Code   ·   link之家   ·   卧龙搜索   ·   藏经阁   ·   小百科
Py学习 - 专注于Python技术发展的社区(原Django社区)
沪ICP备11025650号