spark可以用來跑Python程序嗎？這個問題可能是我們?nèi)粘W習或工作經(jīng)常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純?nèi)容，讓我們一起來看看吧！

創(chuàng)新互聯(lián)，專注為中小企業(yè)提供官網(wǎng)建設、營銷型網(wǎng)站制作、成都響應式網(wǎng)站建設、展示型成都網(wǎng)站設計、成都網(wǎng)站制作等服務，幫助中小企業(yè)通過網(wǎng)站體現(xiàn)價值、有效益。幫助企業(yè)快速建站、解決網(wǎng)站建設與網(wǎng)站營銷推廣問題。

spark能跑Python么？

spark是可以跑Python程序的。python編寫好的算法，或者擴展庫的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。

Spark 是一個通用引擎，可用它來完成各種各樣的運算，包括 SQL 查詢、文本處理、機器學習等。

本次實驗是搭有spark環(huán)境的linux下跑的，spark版本為1.6.1，相當于在在spark本地執(zhí)行，spark文件放在/opt/moudles/spark-1.6.1/（代碼中會看到）

編寫python測試程序

#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#配置環(huán)境變量并導入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf
appName ="spark_1" #應用程序名稱
master= "spark://hadoop01:7077"#hadoop01為主節(jié)點hostname，請換成自己的主節(jié)點主機名稱
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")

執(zhí)行python程序

執(zhí)行如下命令

python test.py

執(zhí)行與結(jié)果分別如下圖所示：

感謝各位的閱讀！看完上述內(nèi)容，你們對spark可以用來跑Python程序嗎大概了解了嗎？希望文章內(nèi)容對大家有所幫助。如果想了解更多相關(guān)文章內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)網(wǎng)站制作公司行業(yè)資訊頻道。

名稱欄目：spark可以用來跑Python程序嗎-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://www.rwnh.cn/article44/dghhee.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、網(wǎng)站收錄、Google、企業(yè)網(wǎng)站制作、動態(tài)網(wǎng)站、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)