這篇文章主要介紹Python中Pandas數(shù)據(jù)清洗的流程，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),峨山縣企業(yè)網(wǎng)站建設(shè),峨山縣品牌網(wǎng)站建設(shè),網(wǎng)站定制,峨山縣網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,峨山縣網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

針對數(shù)據(jù)統(tǒng)計(jì)分析來講，數(shù)據(jù)信息是無可置疑的核心內(nèi)容。但并非是全部的數(shù)據(jù)信息都是有價值的，絕大部分?jǐn)?shù)據(jù)信息是良莠不齊的，基本概念層次不清的，量級有所不同的，這就給后期的數(shù)據(jù)統(tǒng)計(jì)分析和數(shù)據(jù)挖掘造成 了很大的不便，甚至是造成不正確的理論依據(jù)。因此很有必要對數(shù)據(jù)信息開展預(yù)處理。

說到python與數(shù)據(jù)分析，那肯定少不了pandas的身影。

一、數(shù)據(jù)清洗是什么

數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別的錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。與問卷審核不同，錄入后的數(shù)據(jù)清理一般是由計(jì)算機(jī)而不是人工完成。

數(shù)據(jù)清洗從名字上也看的出就是把“臟”的“洗掉”，指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別的錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。因?yàn)閿?shù)據(jù)倉庫中的數(shù)據(jù)是面向某一主題的數(shù)據(jù)的集合，這些數(shù)據(jù)從多個業(yè)務(wù)系統(tǒng)中抽取而來而且包含歷史數(shù)據(jù)，這樣就避免不了有的數(shù)據(jù)是錯誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突，這些錯誤的或有沖突的數(shù)據(jù)顯然是我們不想要的，稱為“臟數(shù)據(jù)”。我們要按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”，這就是數(shù)據(jù)清洗。而數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認(rèn)是否過濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。數(shù)據(jù)清洗是與問卷審核不同，錄入后的數(shù)據(jù)清理一般是由計(jì)算機(jī)而不是人工完成。

二、Python pandas數(shù)據(jù)清洗流程

1.導(dǎo)入方法read_excel

# 導(dǎo)入數(shù)據(jù)
import pandas as pda
import matplotlib.pylab as pyl

a = pda.read_excel("D:\\迅雷下載\\工具\(yùn)\表格\\練習(xí).xls")	# 路徑使用雙反斜杠，否則會報錯
print(len(a))   # 數(shù)據(jù)框的長度，是按行統(tǒng)計(jì)的
123456

2.發(fā)現(xiàn)缺失值

先打開excel表，查看下有多少缺失值，缺失值是指值為0或空統(tǒng)計(jì)發(fā)現(xiàn)有10個缺失值，同理其他列也有部分缺失值然后著手把0值置空，保證所有的缺失值都是統(tǒng)一形式，方便處理

b = ["price", "trade"]
for i in b:
    a[i][(a[i] == 0)] = None
# a["price"] == 0  判斷語句，返回True或False  ,對列表的每一個值進(jìn)行判斷，如果有0，該處值置為none，然后進(jìn)行判斷直至完成
1234

3.缺失值處理

遍歷所有的空值，統(tǒng)一賦值

x = 0
for j in b:
    for k in range(len(a)):
        if (a[j].isnull())[k]:  
            a[j][k] = 36
            x += 1
print(x)

三、異常數(shù)據(jù)處理

異常數(shù)據(jù)指數(shù)據(jù)庫或數(shù)據(jù)倉庫中未滿足一般規(guī)律的數(shù)據(jù)信息對象，又叫作孤立點(diǎn)。異常的數(shù)據(jù)信息可由執(zhí)行程序出現(xiàn)失誤形成，也可能會因設(shè)施設(shè)備內(nèi)部故障造成的。異常數(shù)據(jù)信息可能是刪去的噪聲，也可能是帶有重要信息的數(shù)據(jù)單元。異常的數(shù)據(jù)信息的監(jiān)測具體有根據(jù)統(tǒng)計(jì)學(xué)、根據(jù)距離和根據(jù)偏離3類方法。采取數(shù)據(jù)信息審時的辦法能夠?qū)崿F(xiàn)異常的數(shù)據(jù)信息的智能化監(jiān)測，該辦法也叫作數(shù)據(jù)質(zhì)量挖掘(DOQM)。DQM具體由2步組成:第1步，采取數(shù)理統(tǒng)計(jì)辦法對數(shù)據(jù)分布展開概化描述，自動獲得數(shù)據(jù)信息的總體分布特征；第2步針對特定的數(shù)據(jù)質(zhì)量問題展開挖掘以發(fā)現(xiàn)數(shù)據(jù)信息異常的。

以上是Python中Pandas數(shù)據(jù)清洗的流程的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

本文題目：Python中Pandas數(shù)據(jù)清洗的流程
分享網(wǎng)址：http://www.rwnh.cn/article46/jddghg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、小程序開發(fā)、關(guān)鍵詞優(yōu)化、網(wǎng)站內(nèi)鏈、面包屑導(dǎo)航、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)