社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

在集群[Scala/Spark]中的执行器上运行python脚本

Mardaunt • 4 年前 • 1631 次点击  

我有python脚本:

import sys

for line in sys.stdin:
  print("hello " + line)

我在集群中的工人身上运行它:

def run(spark: SparkSession) = {

  val data = List("john","paul","george","ringo")

  val dataRDD = sc.makeRDD(data)
  val scriptPath = getClass.getResource("test.py").getPath
  val pipeRDD = dataRDD.pipe(command = "python3 " ++ scriptPath)

  pipeRDD.foreach(println)
}

输出

你好,约翰

你好,林戈

你好,乔治

你好,保罗

我有几个问题,请告诉我。 我可以用python脚本访问spark会话吗? 或者我可以用python脚本创建一个文件并将其保存到hdfs文件系统中吗?

事实上,这就是我想要做的 我想用python脚本创建csv文件,并将它们保存到hdfs。

还有一个小问题。 可以向工人发送命令来安装python软件包吗?

例如: 安装熊猫

!UPD: 我对python文件做了一些更改。

#!/usr/bin/python
# -*- coding: utf-8 -*-

#import pandas as pd
import sys
import os

for line in sys.stdin:
    with open('readme.csv', 'w') as f:
        f.write('Name,Last Name\nМихаил,Зубенко')

print(os.getcwd() + '/readme.csv')

该文件是在容器内创建的:

enter image description here

现在我有一个问题。如何访问此文件?

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/128796
文章 [ 1 ]  |  最新文章 4 年前