Python社区  »  zookeeper

如何获取zookeeper中存储的偏移量

MSR SW • 1 年前 • 257 次点击  

需要为我们的应用程序(kafka 0.10)生成消费者延迟度量,其中偏移量存储在zookeeper中。寻找Java API或其他方法来获取存储在ZooKeKER中的偏移量。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/44246
 
257 次点击  
分享到微博
文章 [ 2 ]  |  最新文章 1 年前
MSR SW
Reply   •   1 楼
MSR SW    1 年前

谢谢你的建议。因为我们正在寻找zookeeper中存储的偏移量,所以需要使用 bin/kafka-consumer-groups.sh--zookeeper--descripe--group

相应的scala api在

ConsumerGroupCommand.scala

Nishu Tayal
Reply   •   2 楼
Nishu Tayal    1 年前

如果从命令行进行尝试,则可以按以下方式使用kafka-consumer-groups.sh脚本。

bin/kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <group-name>

它将按以下方式返回数据:

    TOPIC       PARTITION  CURRENT-OFFSET  LOG-END-OFFSET      LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
testtopic-1         0          13164704        13164773        69         test-consumer-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0                     test-consumer              
testtopic-1         1          13161581        13161650        69         test-consumer-agent-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0               test-consumer   
testtopic-1         2          12229509        12229578        69         test-consumer-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0                     test-consumer
testtopic-1         3          86              86              0          test-consumer-agent-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0               test-consumer

如果使用Java,则可以使用 AdminClient.describeConsumerGroups 方法如下:

http://kafka.apache.org/20/javadoc/org/apache/kafka/clients/admin/AdminClient.html#describeConsumerGroups-java.util.Collection-