社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  zookeeper

如何获取zookeeper中存储的偏移量

MSR SW • 4 年前 • 1028 次点击  

需要为我们的应用程序(kafka 0.10)生成消费者延迟度量,其中偏移量存储在zookeeper中。寻找Java API或其他方法来获取存储在ZooKeKER中的偏移量。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/44246
 
1028 次点击  
文章 [ 2 ]  |  最新文章 4 年前
MSR SW
Reply   •   1 楼
MSR SW    5 年前

谢谢你的建议。因为我们正在寻找zookeeper中存储的偏移量,所以需要使用 bin/kafka-consumer-groups.sh--zookeeper--descripe--group

相应的scala api在

ConsumerGroupCommand.scala

Nishu Tayal
Reply   •   2 楼
Nishu Tayal    5 年前

如果从命令行进行尝试,则可以按以下方式使用kafka-consumer-groups.sh脚本。

bin/kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <group-name>

它将按以下方式返回数据:

    TOPIC       PARTITION  CURRENT-OFFSET  LOG-END-OFFSET      LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
testtopic-1         0          13164704        13164773        69         test-consumer-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0                     test-consumer              
testtopic-1         1          13161581        13161650        69         test-consumer-agent-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0               test-consumer   
testtopic-1         2          12229509        12229578        69         test-consumer-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0                     test-consumer
testtopic-1         3          86              86              0          test-consumer-agent-bf8d1655-63a6-4061-b680-0f11cdf182e5/100.96.67.0               test-consumer

如果使用Java,则可以使用 AdminClient.describeConsumerGroups 方法如下:

http://kafka.apache.org/20/javadoc/org/apache/kafka/clients/admin/AdminClient.html#describeConsumerGroups-java.util.Collection-