這篇文章主要介紹“如何在spark集群環(huán)境下使用hanlp進行中文分詞”，在日常操作中，相信很多人在如何在spark集群環(huán)境下使用hanlp進行中文分詞問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何在spark集群環(huán)境下使用hanlp進行中文分詞”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

這篇文章主要介紹“如何在spark集群環(huán)境下使用hanlp進行中文分詞”，在日常操作中，相信很多人在如何在spark集群環(huán)境下使用hanlp進行中文分詞問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何在spark集群環(huán)境下使用hanlp進行中文分詞”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

定日ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

1、將下載的hanlp-portable-1.6.2.jar復制到集群spark/jar文件夾下面

2、啟動spark集群

       spark/bin/spark-shell --executor-memory 6g  --driver-memory 1g --executor-cores 2 --num-executors 2 --master spark://master:7077 --jars ansj_seg-5.1.6.jar hanlp-portable-1.6.2.jar

3,執(zhí)行如下指令：

    import com.hankcs.hanlp.tokenizer.StandardTokenizer

    val data = sc.textFile("hdfs://master:8020/clob.txt")

    val splits = data.filter(line => !line.contains("BODY")).map(line => line.replace("【","")).map(line => line.replace("】","")).map(line=>StandardTokenizer.segment(line.toString()))

     splits.first

提示結果沒有序列化：
18/04/06 09:08:25 ERROR TaskSetManager: Task 0.0 in stage 0.0 (TID 0) had a not serializable result: com.hankcs.hanlp.seg.common.Term
Serialization stack:
        - object not serializable (class: com.hankcs.hanlp.seg.common.Term, value: 監(jiān)/ng)
        - writeObject data (class: java.util.ArrayList)
        - object (class java.util.ArrayList, [監(jiān)/ng, 所/u, 每日/r, 動態(tài)/n, 濟南市/ns, 公安局/n, 監(jiān)管/vn, 支隊/n, 秘書處/n,  /w, 2012/m, 年/q, 9/m, 月/q, 11/m, 日/j, 情況/n, 統(tǒng)計/v, 今天/t, ，/w, 全市/n, 看守所/n, 新/a, 收押/v, 14/m, 人/n, ,/w, 出/v, 所/u, 14/m, 人/n, ，/w, 在押/v, 人員/n, 總數(shù)/n, 2596/m, 人/n, （/w, 其中/r, 包括/v, 死刑犯/n, 27/m, 人/n, ，/w, 死緩/j, 犯/v, 14/m, 人/n, ，/w, 無期徒刑/l, 犯/v, 8/m, 人/n, ，/w, 法/j, 輪功/nr, 人員/n, 1/m, 人/n, ）/w, 。/w, 全市/n, 拘留所/n, 新/a, 收押/v, 47/m, 人/n, ，/w, 出/v, 所/u, 20/m, 人/n, ，/w, 在/p, 所/u, 人員/n, 總數(shù)/n, 213/m, 人/n, 。/w, 項目/n, 單位/n, 被/p, 監(jiān)管/vn, 人員/n, 情況/n, 在押/v, 總數(shù)/n, 新/a, 收/v, 出/v, 所/u, 未決犯/n, 法/j, 輪功/nr, 重點/n, 人員/n, 病號/n, 市/n, 看守所/n, 164179144117873/m, 歷城/ns, 看守所/n, 302502550143/m, 章丘/ns, 看守所/n, 24220227066/m, 長/a, 清/a, 看守所/n, 1050292050/m, 平/v, 陰/a, 看守所/n, 860169022/m, 濟陽/ns, 看守所/n, 14401113091/m, 商/n, 河/n, 看守所/n, 760162020/m, 合計/v, 25961414962121685/m, 市/n, 拘留所/n, 1273315/m, 長/a, 清/a, 拘留所/n, 2420/m, 章丘/ns, 拘留所/n, 2332/m, 平/v, 陰/a, 拘留所/n, 1600/m, 濟陽/ns, 拘留所/n, 2033/m, 商/n, 河/n, 拘留所/n, 1160/m, 合計/v, 2214720/m, 收/v, 教/v, 所/u, 30001/m])
        - element of array (index: 0)

        - array (class [Ljava.util.List;, size 1); not retrying

當前文章：如何在spark集群環(huán)境下使用hanlp進行中文分詞
轉載注明：http://www.rwnh.cn/article0/cjodio.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供響應式網(wǎng)站、品牌網(wǎng)站建設、軟件開發(fā)、域名注冊、網(wǎng)站設計、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)