這篇文章主要介紹了PHP多個進(jìn)程配合redis的有序集合如何實(shí)現(xiàn)大文件去重，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),桐廬企業(yè)網(wǎng)站建設(shè),桐廬品牌網(wǎng)站建設(shè),網(wǎng)站定制,桐廬網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,桐廬網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

1.對一個大文件比如我的文件為

-rw-r--r-- 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt

2.使用split命令切割成10個小文件

split -b 1000m 2018-12-awk-uniq.txt -b 按照字節(jié)切割 , 支持單位m和k

3.使用10個php進(jìn)程讀取文件 , 插入redis的有序集合結(jié)構(gòu)中 , 重復(fù)的是插不進(jìn)去的 ,因此可以起到去重的作用

<?php
 
$file=$argv[1];
//守護(hù)進(jìn)程
umask(0); //把文件掩碼清0
if (pcntl_fork() != 0){ //是父進(jìn)程，父進(jìn)程退出
    exit();
}  
posix_setsid();//設(shè)置新會話組長，脫離終端
if (pcntl_fork() != 0){ //是第一子進(jìn)程，結(jié)束第一子進(jìn)程 
    exit();
}  
 
 
$start=memory_get_usage();
 
$redis=new Redis();
$redis->connect('127.0.0.1', 6379);
 
$handle = fopen("./{$file}", 'rb');
while (feof($handle)===false) {
    $line=fgets($handle);
    $email=str_replace("\n","",$line);
    $redis->zAdd('emails', 1, $email);
}

4. redis中查看獲取的數(shù)據(jù)

zcard emails 獲取元素個數(shù)

取一定范圍的元素 , 比如從100000開始 到 100100結(jié)束

zrange emails 100000 100100 WITHSCORES

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“PHP多個進(jìn)程配合redis的有序集合如何實(shí)現(xiàn)大文件去重”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司，，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

分享標(biāo)題：PHP多個進(jìn)程配合redis的有序集合如何實(shí)現(xiàn)大文件去重-創(chuàng)新互聯(lián)
本文來源：http://www.rwnh.cn/article48/cejjhp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、外貿(mào)建站、做網(wǎng)站、軟件開發(fā)、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)