本篇文章給大家分享的是有關(guān)怎么在Python中利用Spacy進(jìn)行分詞，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

十年專業(yè)網(wǎng)絡(luò)公司歷程，堅(jiān)持以創(chuàng)新為先導(dǎo)的網(wǎng)站服務(wù)，服務(wù)超過千余家企業(yè)及個(gè)人，涉及網(wǎng)站設(shè)計(jì)、app軟件開發(fā)公司、微信開發(fā)、平面設(shè)計(jì)、互聯(lián)網(wǎng)整合營(yíng)銷等多個(gè)領(lǐng)域。在不同行業(yè)和領(lǐng)域給人們的工作和生活帶來美好變化。

python是什么意思

Python是一種跨平臺(tái)的、具有解釋性、編譯性、互動(dòng)性和面向?qū)ο蟮哪_本語言，其最初的設(shè)計(jì)是用于編寫自動(dòng)化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發(fā)獨(dú)立的項(xiàng)目和大型項(xiàng)目。

1、說明

Spacy語言模型包含一些強(qiáng)大的文本分析功能，如詞性標(biāo)記和命名實(shí)體識(shí)別。

導(dǎo)入spacy相關(guān)模塊后，需要加載中文處理包。然后讀小說數(shù)據(jù)，nlp處理天龍八部小說，包括分詞、定量、詞性標(biāo)注、語法分析、命名實(shí)體識(shí)別，用符號(hào)/分隔小說。最后，通過is_stop函數(shù)判斷單詞中的單詞是否為無效單詞，刪除無效單詞后，將結(jié)果寫入txt文件。

2、實(shí)例

import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS
 
nlp = spacy.load('zh_core_web_sm')
 
def fenci_stopwords(data,newdata1):
    fenci = []
    qc_stopwords =[]
 
    article = pd.read_table(data,encoding="utf-8")
    start1 = time.time()
    with open(newdata1,'w',encoding='utf-8') as f1:
        for i in article["天龍八部"]:#分詞
            doc = nlp(i)
            result1 = '/'.join([t.text for t in doc])
            fenci.append(result1)
 
  for j in fenci:#去除停用詞   
            words = nlp.vocab[j]    
            if words.is_stop == False:        
                qc_stopwords.append(j)
                result2 = '/'.join(qc_stopwords)
                f1.write(result2)
    end1 = time.time()
    return end1-start1

以上就是怎么在Python中利用Spacy進(jìn)行分詞，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享名稱：怎么在Python中利用Spacy進(jìn)行分詞
文章來源：http://www.rwnh.cn/article14/jgpcde.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、軟件開發(fā)、微信小程序、域名注冊(cè)、網(wǎng)站制作、全網(wǎng)營(yíng)銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)