社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  OneCricketeer  »  全部回复
回复总数  8
4 年前
回复了 OneCricketeer 创建的主题 » 如何使用kafka python配置JDBC接收器和源代码

Kafka Connect是一个Java框架,而不是Python。

Kafka Connect运行一个可以使用的REST API urllib3 或 requests 与它互动,而不是 kafka-python

https://kafka.apache.org/documentation/#connect

创建连接器后,欢迎使用 卡夫卡蟒蛇 生成数据,而JDBC 下沉 例如,你可以使用 pandas 例如,要写入数据库,JDBC 来源 (或Debezium)会消耗

4 年前
回复了 OneCricketeer 创建的主题 » MYSQL CDC使用apache Kafka和Kafka在本地连接,而不使用docker和confluent

从MySQL读取不需要融合的产品。

Debezium是开源的Apache 2.0许可证。卡夫卡和卡夫卡连接(Debezium使用)也是如此。

has a REST API 是的,这就是使用它的方式。

The Debezium tutorial 使用MySQL和Docker,但所有步骤都可以在没有Docker的情况下重复:

  • 下载卡夫卡
  • 下载Debezium连接器和MySQL驱动程序,并安装Connect classpath+插件(遵循Debezium安装文档)
  • 启动Zookeeper和Kafka并连接分布式服务器(遵循上面的Kafka快速启动和连接文档,并使用 分布式模式 )
  • 重新配置数据库地址&HTTP-POST使用教程中提到的JSON启动CDC连接器

到 下沉 将数据传输到另一个数据库,您将希望尝试使用 Confluent's JDBC Sink connector

4 年前
回复了 OneCricketeer 创建的主题 » 如何在Python中导入类的实例?

理想情况下,您应该使用参数来传递API客户机实例,而不是全局应用程序导入

您也不应该需要多个(编号的)实例。

from classes import Tweeter  # for example

if __name__ == "__main__":
  t = Tweeter(...)
  some_function(t, some, other, args)
5 年前
回复了 OneCricketeer 创建的主题 » 将Pulsar和Python组合成docker compose。亚马尔

你真的不需要另一张照片。您应该让代码在本地运行,并将其指向pulsar image。

如果你真的想运行一个python docker映像,你可以这样做,在哪里 example_default 是由compose创建的网络名称。。。

docker run --network=example_default -v /path/to/code:/app python:3 /app/producer.py

您还需要修改代码,使其不使用 localhost 作为Pulsar服务器地址

5 年前
回复了 OneCricketeer 创建的主题 » 如何将s3中的数据读入融合的卡夫卡(Docker图像)

关于你的问题标题,源连接器不读取任意的S3数据,只读取S3接收器写入的数据

执行命令查看所有kakfa主题

kafka-topics --list

检查是否安装了S3源连接器

您只运行datagen连接器,它不包括S3源代码,但您可以使用 /connector-plugins 连接服务器的端点

指定创建和使用“quickstart-s3source.properties”

您需要将其转换为JSON,因为Docker运行的是分布式连接服务器,而这些快速启动文件将与独立服务器一起使用。创建文件的位置无关紧要,只要文件通过HTTP POST提供给Connect服务器即可

4 年前
回复了 OneCricketeer 创建的主题 » 获取从python中的查询字符串传递的参数

requests 用于执行http调用

要从该字符串中“获取”值,您需要 urllib.parse 用于解析URI的模块

在服务器端获取查询参数将取决于您使用的web框架

4 年前
回复了 OneCricketeer 创建的主题 » 在集群[Scala/Spark]中的执行器上运行python脚本

我可以用python脚本访问spark会话吗

不是用管道命令,不是。

Python脚本中的文件

首先,我建议您使用PySpark而不是Scala,假设您“需要”Python。

rdd = sparkContext.parallelize(["john","paul","george","ringo"])
hello = rdd.mapValues(lambda s: "hello " + s)
for s in rdd.collect():
  print(s)

创建一个文件。。。并将其保存到hdfs文件系统。。。

或者,也可以从Scala写入HDFS。不太清楚为什么需要Python。Scala还可以创建/读取CSV文件。

安装python软件包[在workers上]

但是,PySpark是否已经通过在运行期间使用ZIP/EGG文件提供了对此的支持 spark-submit 和 --py-files 论点

比如熊猫

SparkSQL数据帧主要取代熊猫的需求,您应该使用熊猫而不是RDD

5 年前
回复了 OneCricketeer 创建的主题 » apache druid中已使用2181端口,无法运行zookeeper

你不需要使用 zookeeper-server-start.sh 如果你在2181端口已经有了一个正在运行的Zookeeper

您可能需要修改 zookeeper.connect 在里面 server.properties 指向不同的Zookeeper主机:端口或chroot