我有python脚本:
import sys
for line in sys.stdin:
print("hello " + line)
我在集群中的工人身上运行它:
def run(spark: SparkSession) = {
val data = List("john","paul","george","ringo")
val dataRDD = sc.makeRDD(data)
val scriptPath = getClass.getResource("test.py").getPath
val pipeRDD = dataRDD.pipe(command = "python3 " ++ scriptPath)
pipeRDD.foreach(println)
}
输出
你好,约翰
你好,林戈
你好,乔治
你好,保罗
我有几个问题,请告诉我。
我可以用python脚本访问spark会话吗?
或者我可以用python脚本创建一个文件并将其保存到hdfs文件系统中吗?
事实上,这就是我想要做的
我想用python脚本创建csv文件,并将它们保存到hdfs。
还有一个小问题。
可以向工人发送命令来安装python软件包吗?
例如:
安装熊猫
!UPD:
我对python文件做了一些更改。
#!/usr/bin/python
# -*- coding: utf-8 -*-
#import pandas as pd
import sys
import os
for line in sys.stdin:
with open('readme.csv', 'w') as f:
f.write('Name,Last Name\nÐиÑ
аил,ÐÑбенко')
print(os.getcwd() + '/readme.csv')
该文件是在容器内创建的:
现在我有一个问题。如何访问此文件?