目錄

• 前言
• 正文
• • 創(chuàng)建沒有schema的DataFrame
  • 創(chuàng)建有schema的DataFrame
  • • 直接創(chuàng)建空的DataFrame
    • • 法1：直接傳遞 [ ]
    • 通過空RDD創(chuàng)建空DataFrame
    • • 法2：通過spark.createDataFrame(rdd)函數(shù)
      • 法3：通過rdd.toDF函數(shù)
• 總結(jié)

廣州ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！前言

做大數(shù)據(jù)分析時，經(jīng)常會使用到空的DataFrame，直接給spark.createDataFrame傳遞空的Pandas DataFrame會報錯：

spark.createDataFrame(data=pd.DataFrame(data=None,columns=['pageid','uid']))
# 報錯：
ValueError: can not infer schema from empty dataset

因此總結(jié)了幾種可以成功創(chuàng)建空的spark DataFrame的方法。

參考：None

正文 創(chuàng)建沒有schema的DataFrame

df_empty = spark.createDataFrame([], StructType([]))
df_empty.printSchema()
"""
輸出:
root
"""

創(chuàng)建有schema的DataFrame

創(chuàng)建schema:

from pyspark.sql.types import StructType,StructField, StringType
schema = StructType([
  StructField('pageid', StringType(), True),
  StructField('uid', StringType(), True)
  ])

# 查看schema  
print(schema.simpleString())
"""
輸出:
struct"""

直接創(chuàng)建空的DataFrame 法1：直接傳遞 [ ]

df_empty1 = spark.createDataFrame([], schema)
df_empty1.printSchema()
"""
輸出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)

"""

通過空RDD創(chuàng)建空DataFrame

可以通過兩種方式創(chuàng)建空的rdd:

rdd1 = spark.sparkContext.emptyRDD()
rdd2 = spark.sparkContext.parallelize([])

法2：通過spark.createDataFrame(rdd)函數(shù)

df_empty2 = spark.createDataFrame(rdd1,schema)
df_empty2.printSchema()
"""
輸出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)
"""

法3：通過rdd.toDF函數(shù)

df_empty3 = rdd1.toDF(schema)
df_empty3.printSchema()
"""
輸出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)
"""

總結(jié)

推薦使用通過“法1”，流程簡單：

from pyspark.sql.types import StructType, StructField, StringType
schema = StructType([
  StructField('pageid', StringType(), True),
  StructField('uid', StringType(), True)
  ])
df_empty1 = spark.createDataFrame([], schema)

完。

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

名稱欄目：pyspark創(chuàng)建空的DataFrame-創(chuàng)新互聯(lián)
鏈接分享：http://www.rwnh.cn/article20/csocco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、App開發(fā)、定制網(wǎng)站、網(wǎng)站收錄、移動網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)