社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  docker

如何将s3中的数据读入融合的卡夫卡(Docker图像)

ASD • 4 年前 • 1926 次点击  

我已经在windows中的docker上安装了kafka,它正在运行,屏幕截图如下,我已经使用这个链接安装了“Amazon S3 Source Connector” https://docs.confluent.io/kafka-connect-s3-source/current/index.html#quick-start .

我的问题是:

i) 如何执行命令以查看所有kakfa主题(不是通过GUI)

ii)如何检查S3源连接器是否已安装(我指的是位置或cli…)

iii)和link还指定了创建和使用“quickstart-s3source.properties”的方法,我在哪里可以这样做?在我的桌面上的docker?

enter image description here

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/130137
文章 [ 1 ]  |  最新文章 4 年前
OneCricketeer
Reply   •   1 楼
OneCricketeer    5 年前

关于你的问题标题,源连接器不读取任意的S3数据,只读取S3接收器写入的数据

执行命令查看所有kakfa主题

kafka-topics --list

检查是否安装了S3源连接器

您只运行datagen连接器,它不包括S3源代码,但您可以使用 /connector-plugins 连接服务器的端点

指定创建和使用“quickstart-s3source.properties”

您需要将其转换为JSON,因为Docker运行的是分布式连接服务器,而这些快速启动文件将与独立服务器一起使用。创建文件的位置无关紧要,只要文件通过HTTP POST提供给Connect服务器即可