中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

go語(yǔ)言map擴(kuò)容 go map容量

徹底理解Golang Map

本文目錄如下,閱讀本文后,將一網(wǎng)打盡下面Golang Map相關(guān)面試題

站在用戶的角度思考問(wèn)題,與客戶深入溝通,找到閬中網(wǎng)站設(shè)計(jì)與閬中網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗(yàn),讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品,建站類(lèi)型包括:網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名與空間、網(wǎng)頁(yè)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋閬中地區(qū)。

Go中的map是一個(gè)指針,占用8個(gè)字節(jié),指向hmap結(jié)構(gòu)體; 源碼 src/runtime/map.go 中可以看到map的底層結(jié)構(gòu)

每個(gè)map的底層結(jié)構(gòu)是hmap,hmap包含若干個(gè)結(jié)構(gòu)為bmap的bucket數(shù)組。每個(gè)bucket底層都采用鏈表結(jié)構(gòu)。接下來(lái),我們來(lái)詳細(xì)看下map的結(jié)構(gòu)

bmap 就是我們常說(shuō)的“桶”,一個(gè)桶里面會(huì)最多裝 8 個(gè) key,這些 key 之所以會(huì)落入同一個(gè)桶,是因?yàn)樗鼈兘?jīng)過(guò)哈希計(jì)算后,哈希結(jié)果是“一類(lèi)”的,關(guān)于key的定位我們?cè)趍ap的查詢和插入中詳細(xì)說(shuō)明。在桶內(nèi),又會(huì)根據(jù) key 計(jì)算出來(lái)的 hash 值的高 8 位來(lái)決定 key 到底落入桶內(nèi)的哪個(gè)位置(一個(gè)桶內(nèi)最多有8個(gè)位置)。

bucket內(nèi)存數(shù)據(jù)結(jié)構(gòu)可視化如下:

注意到 key 和 value 是各自放在一起的,并不是 key/value/key/value/... 這樣的形式。源碼里說(shuō)明這樣的好處是在某些情況下可以省略掉 padding字段,節(jié)省內(nèi)存空間。

當(dāng) map 的 key 和 value 都不是指針,并且 size 都小于 128 字節(jié)的情況下,會(huì)把 bmap 標(biāo)記為不含指針,這樣可以避免 gc 時(shí)掃描整個(gè) hmap。但是,我們看 bmap 其實(shí)有一個(gè) overflow 的字段,是指針類(lèi)型的,破壞了 bmap 不含指針的設(shè)想,這時(shí)會(huì)把 overflow 移動(dòng)到 extra 字段來(lái)。

map是個(gè)指針,底層指向hmap,所以是個(gè)引用類(lèi)型

golang 有三個(gè)常用的高級(jí)類(lèi)型 slice 、map、channel, 它們都是 引用類(lèi)型 ,當(dāng)引用類(lèi)型作為函數(shù)參數(shù)時(shí),可能會(huì)修改原內(nèi)容數(shù)據(jù)。

golang 中沒(méi)有引用傳遞,只有值和指針傳遞。所以 map 作為函數(shù)實(shí)參傳遞時(shí)本質(zhì)上也是值傳遞,只不過(guò)因?yàn)?map 底層數(shù)據(jù)結(jié)構(gòu)是通過(guò)指針指向?qū)嶋H的元素存儲(chǔ)空間,在被調(diào)函數(shù)中修改 map,對(duì)調(diào)用者同樣可見(jiàn),所以 map 作為函數(shù)實(shí)參傳遞時(shí)表現(xiàn)出了引用傳遞的效果。

因此,傳遞 map 時(shí),如果想修改map的內(nèi)容而不是map本身,函數(shù)形參無(wú)需使用指針

map 底層數(shù)據(jù)結(jié)構(gòu)是通過(guò)指針指向?qū)嶋H的元素 存儲(chǔ)空間 ,這種情況下,對(duì)其中一個(gè)map的更改,會(huì)影響到其他map

map 在沒(méi)有被修改的情況下,使用 range 多次遍歷 map 時(shí)輸出的 key 和 value 的順序可能不同。這是 Go 語(yǔ)言的設(shè)計(jì)者們有意為之,在每次 range 時(shí)的順序被隨機(jī)化,旨在提示開(kāi)發(fā)者們,Go 底層實(shí)現(xiàn)并不保證 map 遍歷順序穩(wěn)定,請(qǐng)大家不要依賴 range 遍歷結(jié)果順序。

map 本身是無(wú)序的,且遍歷時(shí)順序還會(huì)被隨機(jī)化,如果想順序遍歷 map,需要對(duì) map key 先排序,再按照 key 的順序遍歷 map。

map默認(rèn)是并發(fā)不安全的,原因如下:

Go 官方在經(jīng)過(guò)了長(zhǎng)時(shí)間的討論后,認(rèn)為 Go map 更應(yīng)適配典型使用場(chǎng)景(不需要從多個(gè) goroutine 中進(jìn)行安全訪問(wèn)),而不是為了小部分情況(并發(fā)訪問(wèn)),導(dǎo)致大部分程序付出加鎖代價(jià)(性能),決定了不支持。

場(chǎng)景: 2個(gè)協(xié)程同時(shí)讀和寫(xiě),以下程序會(huì)出現(xiàn)致命錯(cuò)誤:fatal error: concurrent map writes

如果想實(shí)現(xiàn)map線程安全,有兩種方式:

方式一:使用讀寫(xiě)鎖 map + sync.RWMutex

方式二:使用golang提供的 sync.Map

sync.map是用讀寫(xiě)分離實(shí)現(xiàn)的,其思想是空間換時(shí)間。和map+RWLock的實(shí)現(xiàn)方式相比,它做了一些優(yōu)化:可以無(wú)鎖訪問(wèn)read map,而且會(huì)優(yōu)先操作read map,倘若只操作read map就可以滿足要求(增刪改查遍歷),那就不用去操作write map(它的讀寫(xiě)都要加鎖),所以在某些特定場(chǎng)景中它發(fā)生鎖競(jìng)爭(zhēng)的頻率會(huì)遠(yuǎn)遠(yuǎn)小于map+RWLock的實(shí)現(xiàn)方式。

golang中map是一個(gè)kv對(duì)集合。底層使用hash table,用鏈表來(lái)解決沖突 ,出現(xiàn)沖突時(shí),不是每一個(gè)key都申請(qǐng)一個(gè)結(jié)構(gòu)通過(guò)鏈表串起來(lái),而是以bmap為最小粒度掛載,一個(gè)bmap可以放8個(gè)kv。在哈希函數(shù)的選擇上,會(huì)在程序啟動(dòng)時(shí),檢測(cè) cpu 是否支持 aes,如果支持,則使用 aes hash,否則使用 memhash。

map有3鐘初始化方式,一般通過(guò)make方式創(chuàng)建

map的創(chuàng)建通過(guò)生成匯編碼可以知道,make創(chuàng)建map時(shí)調(diào)用的底層函數(shù)是 runtime.makemap 。如果你的map初始容量小于等于8會(huì)發(fā)現(xiàn)走的是 runtime.fastrand 是因?yàn)槿萘啃∮?時(shí)不需要生成多個(gè)桶,一個(gè)桶的容量就可以滿足

makemap函數(shù)會(huì)通過(guò) fastrand 創(chuàng)建一個(gè)隨機(jī)的哈希種子,然后根據(jù)傳入的 hint 計(jì)算出需要的最小需要的桶的數(shù)量,最后再使用 makeBucketArray 創(chuàng)建用于保存桶的數(shù)組,這個(gè)方法其實(shí)就是根據(jù)傳入的 B 計(jì)算出的需要?jiǎng)?chuàng)建的桶數(shù)量在內(nèi)存中分配一片連續(xù)的空間用于存儲(chǔ)數(shù)據(jù),在創(chuàng)建桶的過(guò)程中還會(huì)額外創(chuàng)建一些用于保存溢出數(shù)據(jù)的桶,數(shù)量是 2^(B-4) 個(gè)。初始化完成返回hmap指針。

找到一個(gè) B,使得 map 的裝載因子在正常范圍內(nèi)

Go 語(yǔ)言中讀取 map 有兩種語(yǔ)法:帶 comma 和 不帶 comma。當(dāng)要查詢的 key 不在 map 里,帶 comma 的用法會(huì)返回一個(gè) bool 型變量提示 key 是否在 map 中;而不帶 comma 的語(yǔ)句則會(huì)返回一個(gè) value 類(lèi)型的零值。如果 value 是 int 型就會(huì)返回 0,如果 value 是 string 類(lèi)型,就會(huì)返回空字符串。

map的查找通過(guò)生成匯編碼可以知道,根據(jù) key 的不同類(lèi)型,編譯器會(huì)將查找函數(shù)用更具體的函數(shù)替換,以優(yōu)化效率:

函數(shù)首先會(huì)檢查 map 的標(biāo)志位 flags。如果 flags 的寫(xiě)標(biāo)志位此時(shí)被置 1 了,說(shuō)明有其他協(xié)程在執(zhí)行“寫(xiě)”操作,進(jìn)而導(dǎo)致程序 panic。這也說(shuō)明了 map 對(duì)協(xié)程是不安全的。

key經(jīng)過(guò)哈希函數(shù)計(jì)算后,得到的哈希值如下(主流64位機(jī)下共 64 個(gè) bit 位):

m: 桶的個(gè)數(shù)

從buckets 通過(guò) hash m 得到對(duì)應(yīng)的bucket,如果bucket正在擴(kuò)容,并且沒(méi)有擴(kuò)容完成,則從oldbuckets得到對(duì)應(yīng)的bucket

計(jì)算hash所在桶編號(hào):

用上一步哈希值最后的 5 個(gè) bit 位,也就是 01010 ,值為 10,也就是 10 號(hào)桶(范圍是0~31號(hào)桶)

計(jì)算hash所在的槽位:

用上一步哈希值哈希值的高8個(gè)bit 位,也就是 10010111 ,轉(zhuǎn)化為十進(jìn)制,也就是151,在 10 號(hào) bucket 中尋找** tophash 值(HOB hash)為 151* 的 槽位**,即為key所在位置,找到了 2 號(hào)槽位,這樣整個(gè)查找過(guò)程就結(jié)束了。

如果在 bucket 中沒(méi)找到,并且 overflow 不為空,還要繼續(xù)去 overflow bucket 中尋找,直到找到或是所有的 key 槽位都找遍了,包括所有的 overflow bucket。

通過(guò)上面找到了對(duì)應(yīng)的槽位,這里我們?cè)僭敿?xì)分析下key/value值是如何獲取的:

bucket 里 key 的起始地址就是 unsafe.Pointer(b)+dataOffset。第 i 個(gè) key 的地址就要在此基礎(chǔ)上跨過(guò) i 個(gè) key 的大??;而我們又知道,value 的地址是在所有 key 之后,因此第 i 個(gè) value 的地址還需要加上所有 key 的偏移。

通過(guò)匯編語(yǔ)言可以看到,向 map 中插入或者修改 key,最終調(diào)用的是 mapassign 函數(shù)。

實(shí)際上插入或修改 key 的語(yǔ)法是一樣的,只不過(guò)前者操作的 key 在 map 中不存在,而后者操作的 key 存在 map 中。

mapassign 有一個(gè)系列的函數(shù),根據(jù) key 類(lèi)型的不同,編譯器會(huì)將其優(yōu)化為相應(yīng)的“快速函數(shù)”。

我們只用研究最一般的賦值函數(shù) mapassign 。

map的賦值會(huì)附帶著map的擴(kuò)容和遷移,map的擴(kuò)容只是將底層數(shù)組擴(kuò)大了一倍,并沒(méi)有進(jìn)行數(shù)據(jù)的轉(zhuǎn)移,數(shù)據(jù)的轉(zhuǎn)移是在擴(kuò)容后逐步進(jìn)行的,在遷移的過(guò)程中每進(jìn)行一次賦值(access或者delete)會(huì)至少做一次遷移工作。

1.判斷map是否為nil

每一次進(jìn)行賦值/刪除操作時(shí),只要oldbuckets != nil 則認(rèn)為正在擴(kuò)容,會(huì)做一次遷移工作,下面會(huì)詳細(xì)說(shuō)下遷移過(guò)程

根據(jù)上面查找過(guò)程,查找key所在位置,如果找到則更新,沒(méi)找到則找空位插入即可

經(jīng)過(guò)前面迭代尋找動(dòng)作,若沒(méi)有找到可插入的位置,意味著需要擴(kuò)容進(jìn)行插入,下面會(huì)詳細(xì)說(shuō)下擴(kuò)容過(guò)程

通過(guò)匯編語(yǔ)言可以看到,向 map 中刪除 key,最終調(diào)用的是 mapdelete 函數(shù)

刪除的邏輯相對(duì)比較簡(jiǎn)單,大多函數(shù)在賦值操作中已經(jīng)用到過(guò),核心還是找到 key 的具體位置。尋找過(guò)程都是類(lèi)似的,在 bucket 中挨個(gè) cell 尋找。找到對(duì)應(yīng)位置后,對(duì) key 或者 value 進(jìn)行“清零”操作,將 count 值減 1,將對(duì)應(yīng)位置的 tophash 值置成 Empty

再來(lái)說(shuō)觸發(fā) map 擴(kuò)容的時(shí)機(jī):在向 map 插入新 key 的時(shí)候,會(huì)進(jìn)行條件檢測(cè),符合下面這 2 個(gè)條件,就會(huì)觸發(fā)擴(kuò)容:

1、裝載因子超過(guò)閾值

源碼里定義的閾值是 6.5 (loadFactorNum/loadFactorDen),是經(jīng)過(guò)測(cè)試后取出的一個(gè)比較合理的因子

我們知道,每個(gè) bucket 有 8 個(gè)空位,在沒(méi)有溢出,且所有的桶都裝滿了的情況下,裝載因子算出來(lái)的結(jié)果是 8。因此當(dāng)裝載因子超過(guò) 6.5 時(shí),表明很多 bucket 都快要裝滿了,查找效率和插入效率都變低了。在這個(gè)時(shí)候進(jìn)行擴(kuò)容是有必要的。

對(duì)于條件 1,元素太多,而 bucket 數(shù)量太少,很簡(jiǎn)單:將 B 加 1,bucket 最大數(shù)量( 2^B )直接變成原來(lái) bucket 數(shù)量的 2 倍。于是,就有新老 bucket 了。注意,這時(shí)候元素都在老 bucket 里,還沒(méi)遷移到新的 bucket 來(lái)。新 bucket 只是最大數(shù)量變?yōu)樵瓉?lái)最大數(shù)量的 2 倍( 2^B * 2 ) 。

2、overflow 的 bucket 數(shù)量過(guò)多

在裝載因子比較小的情況下,這時(shí)候 map 的查找和插入效率也很低,而第 1 點(diǎn)識(shí)別不出來(lái)這種情況。表面現(xiàn)象就是計(jì)算裝載因子的分子比較小,即 map 里元素總數(shù)少,但是 bucket 數(shù)量多(真實(shí)分配的 bucket 數(shù)量多,包括大量的 overflow bucket)

不難想像造成這種情況的原因:不停地插入、刪除元素。先插入很多元素,導(dǎo)致創(chuàng)建了很多 bucket,但是裝載因子達(dá)不到第 1 點(diǎn)的臨界值,未觸發(fā)擴(kuò)容來(lái)緩解這種情況。之后,刪除元素降低元素總數(shù)量,再插入很多元素,導(dǎo)致創(chuàng)建很多的 overflow bucket,但就是不會(huì)觸發(fā)第 1 點(diǎn)的規(guī)定,你能拿我怎么辦?overflow bucket 數(shù)量太多,導(dǎo)致 key 會(huì)很分散,查找插入效率低得嚇人,因此出臺(tái)第 2 點(diǎn)規(guī)定。這就像是一座空城,房子很多,但是住戶很少,都分散了,找起人來(lái)很困難

對(duì)于條件 2,其實(shí)元素沒(méi)那么多,但是 overflow bucket 數(shù)特別多,說(shuō)明很多 bucket 都沒(méi)裝滿。解決辦法就是開(kāi)辟一個(gè)新 bucket 空間,將老 bucket 中的元素移動(dòng)到新 bucket,使得同一個(gè) bucket 中的 key 排列地更緊密。這樣,原來(lái),在 overflow bucket 中的 key 可以移動(dòng)到 bucket 中來(lái)。結(jié)果是節(jié)省空間,提高 bucket 利用率,map 的查找和插入效率自然就會(huì)提升。

由于 map 擴(kuò)容需要將原有的 key/value 重新搬遷到新的內(nèi)存地址,如果有大量的 key/value 需要搬遷,會(huì)非常影響性能。因此 Go map 的擴(kuò)容采取了一種稱為“漸進(jìn)式”的方式,原有的 key 并不會(huì)一次性搬遷完畢,每次最多只會(huì)搬遷 2 個(gè) bucket。

上面說(shuō)的 hashGrow() 函數(shù)實(shí)際上并沒(méi)有真正地“搬遷”,它只是分配好了新的 buckets,并將老的 buckets 掛到了 oldbuckets 字段上。真正搬遷 buckets 的動(dòng)作在 growWork() 函數(shù)中,而調(diào)用 growWork() 函數(shù)的動(dòng)作是在 mapassign 和 mapdelete 函數(shù)中。也就是插入或修改、刪除 key 的時(shí)候,都會(huì)嘗試進(jìn)行搬遷 buckets 的工作。先檢查 oldbuckets 是否搬遷完畢,具體來(lái)說(shuō)就是檢查 oldbuckets 是否為 nil。

如果未遷移完畢,賦值/刪除的時(shí)候,擴(kuò)容完畢后(預(yù)分配內(nèi)存),不會(huì)馬上就進(jìn)行遷移。而是采取 增量擴(kuò)容 的方式,當(dāng)有訪問(wèn)到具體 bukcet 時(shí),才會(huì)逐漸的進(jìn)行遷移(將 oldbucket 遷移到 bucket)

nevacuate 標(biāo)識(shí)的是當(dāng)前的進(jìn)度,如果都搬遷完,應(yīng)該和2^B的長(zhǎng)度是一樣的

在evacuate 方法實(shí)現(xiàn)是把這個(gè)位置對(duì)應(yīng)的bucket,以及其沖突鏈上的數(shù)據(jù)都轉(zhuǎn)移到新的buckets上。

轉(zhuǎn)移的判斷直接通過(guò)tophash 就可以,判斷tophash中第一個(gè)hash值即可

遍歷的過(guò)程,就是按順序遍歷 bucket,同時(shí)按順序遍歷 bucket 中的 key。

map遍歷是無(wú)序的,如果想實(shí)現(xiàn)有序遍歷,可以先對(duì)key進(jìn)行排序

為什么遍歷 map 是無(wú)序的?

如果發(fā)生過(guò)遷移,key 的位置發(fā)生了重大的變化,有些 key 飛上高枝,有些 key 則原地不動(dòng)。這樣,遍歷 map 的結(jié)果就不可能按原來(lái)的順序了。

如果就一個(gè)寫(xiě)死的 map,不會(huì)向 map 進(jìn)行插入刪除的操作,按理說(shuō)每次遍歷這樣的 map 都會(huì)返回一個(gè)固定順序的 key/value 序列吧。但是 Go 杜絕了這種做法,因?yàn)檫@樣會(huì)給新手程序員帶來(lái)誤解,以為這是一定會(huì)發(fā)生的事情,在某些情況下,可能會(huì)釀成大錯(cuò)。

Go 做得更絕,當(dāng)我們?cè)诒闅v map 時(shí),并不是固定地從 0 號(hào) bucket 開(kāi)始遍歷,每次都是從一個(gè)**隨機(jī)值序號(hào)的 bucket 開(kāi)始遍歷,并且是從這個(gè) bucket 的一個(gè) 隨機(jī)序號(hào)的 cell **開(kāi)始遍歷。這樣,即使你是一個(gè)寫(xiě)死的 map,僅僅只是遍歷它,也不太可能會(huì)返回一個(gè)固定序列的 key/value 對(duì)了。

Go語(yǔ)言——sync.Map詳解

sync.Map是1.9才推薦的并發(fā)安全的map,除了互斥量以外,還運(yùn)用了原子操作,所以在這之前,有必要了解下 Go語(yǔ)言——原子操作

go1.10\src\sync\map.go

entry分為三種情況:

從read中讀取key,如果key存在就tryStore。

注意這里開(kāi)始需要加鎖,因?yàn)樾枰僮鱠irty。

條目在read中,首先取消標(biāo)記,然后將條目保存到dirty里。(因?yàn)闃?biāo)記的數(shù)據(jù)不在dirty里)

最后原子保存value到條目里面,這里注意read和dirty都有條目。

總結(jié)一下Store:

這里可以看到dirty保存了數(shù)據(jù)的修改,除非可以直接原子更新read,繼續(xù)保持read clean。

有了之前的經(jīng)驗(yàn),可以猜測(cè)下load流程:

與猜測(cè)的 區(qū)別 :

由于數(shù)據(jù)保存兩份,所以刪除考慮:

先看第二種情況。加鎖直接刪除dirty數(shù)據(jù)。思考下貌似沒(méi)什么問(wèn)題,本身就是臟數(shù)據(jù)。

第一種和第三種情況唯一的區(qū)別就是條目是否被標(biāo)記。標(biāo)記代表刪除,所以直接返回。否則CAS操作置為nil。這里總感覺(jué)少點(diǎn)什么,因?yàn)闂l目其實(shí)還是存在的,雖然指針nil。

看了一圈貌似沒(méi)找到標(biāo)記的邏輯,因?yàn)閯h除只是將他變成nil。

之前以為這個(gè)邏輯就是簡(jiǎn)單的將為標(biāo)記的條目拷貝給dirty,現(xiàn)在看來(lái)大有文章。

p == nil,說(shuō)明條目已經(jīng)被delete了,CAS將他置為標(biāo)記刪除。然后這個(gè)條目就不會(huì)保存在dirty里面。

這里其實(shí)就跟miss邏輯串起來(lái)了,因?yàn)閙iss達(dá)到閾值之后,dirty會(huì)全量變成read,也就是說(shuō)標(biāo)記刪除在這一步最終刪除。這個(gè)還是很巧妙的。

真正的刪除邏輯:

很繞。。。。

goland map底層原理

map 是Go語(yǔ)言中基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu),在日常的使用中經(jīng)常被用到。但是它底層是如何實(shí)現(xiàn)的呢?

總體來(lái)說(shuō)golang的map是hashmap,是使用數(shù)組+鏈表的形式實(shí)現(xiàn)的,使用拉鏈法消除hash沖突。

golang的map由兩種重要的結(jié)構(gòu),hmap和bmap(下文中都有解釋),主要就是hmap中包含一個(gè)指向bmap數(shù)組的指針,key經(jīng)過(guò)hash函數(shù)之后得到一個(gè)數(shù),這個(gè)數(shù)低位用于選擇bmap(當(dāng)作bmap數(shù)組指針的下表),高位用于放在bmap的[8]uint8數(shù)組中,用于快速試錯(cuò)。然后一個(gè)bmap可以指向下一個(gè)bmap(拉鏈)。

Golang中map的底層實(shí)現(xiàn)是一個(gè)散列表,因此實(shí)現(xiàn)map的過(guò)程實(shí)際上就是實(shí)現(xiàn)散表的過(guò)程。在這個(gè)散列表中,主要出現(xiàn)的結(jié)構(gòu)體有兩個(gè),一個(gè)叫 hmap (a header for a go map),一個(gè)叫 bmap (a bucket for a Go map,通常叫其bucket)。這兩種結(jié)構(gòu)的樣子分別如下所示:

hmap :

圖中有很多字段,但是便于理解map的架構(gòu),你只需要關(guān)心的只有一個(gè),就是標(biāo)紅的字段: buckets數(shù)組 。Golang的map中用于存儲(chǔ)的結(jié)構(gòu)是bucket數(shù)組。而bucket(即bmap)的結(jié)構(gòu)是怎樣的呢?

bucket :

相比于hmap,bucket的結(jié)構(gòu)顯得簡(jiǎn)單一些,標(biāo)紅的字段依然是“核心”,我們使用的map中的key和value就存儲(chǔ)在這里?!案呶还V怠睌?shù)組記錄的是當(dāng)前bucket中key相關(guān)的“索引”,稍后會(huì)詳細(xì)敘述。還有一個(gè)字段是一個(gè)指向擴(kuò)容后的bucket的指針,使得bucket會(huì)形成一個(gè)鏈表結(jié)構(gòu)。例如下圖:

由此看出hmap和bucket的關(guān)系是這樣的:

而bucket又是一個(gè)鏈表,所以,整體的結(jié)構(gòu)應(yīng)該是這樣的:

哈希表的特點(diǎn)是會(huì)有一個(gè)哈希函數(shù),對(duì)你傳來(lái)的key進(jìn)行哈希運(yùn)算,得到唯一的值,一般情況下都是一個(gè)數(shù)值。Golang的map中也有這么一個(gè)哈希函數(shù),也會(huì)算出唯一的值,對(duì)于這個(gè)值的使用,Golang也是很有意思。

Golang把求得的值按照用途一分為二:高位和低位。

如圖所示,藍(lán)色為高位,紅色為低位。 然后低位用于尋找當(dāng)前key屬于hmap中的哪個(gè)bucket,而高位用于尋找bucket中的哪個(gè)key。上文中提到:bucket中有個(gè)屬性字段是“高位哈希值”數(shù)組,這里存的就是藍(lán)色的高位值,用來(lái)聲明當(dāng)前bucket中有哪些“key”,便于搜索查找。 需要特別指出的一點(diǎn)是:我們map中的key/value值都是存到同一個(gè)數(shù)組中的。數(shù)組中的順序是這樣的:

并不是key0/value0/key1/value1的形式,這樣做的好處是:在key和value的長(zhǎng)度不同的時(shí)候,可 以消除padding(內(nèi)存對(duì)齊)帶來(lái)的空間浪費(fèi) 。

現(xiàn)在,我們可以得到Go語(yǔ)言map的整個(gè)的結(jié)構(gòu)圖了:(hash結(jié)果的低位用于選擇把KV放在bmap數(shù)組中的哪一個(gè)bmap中,高位用于key的快速預(yù)覽,用于快速試錯(cuò))

map的擴(kuò)容

當(dāng)以上的哈希表增長(zhǎng)的時(shí)候,Go語(yǔ)言會(huì)將bucket數(shù)組的數(shù)量擴(kuò)充一倍,產(chǎn)生一個(gè)新的bucket數(shù)組,并將舊數(shù)組的數(shù)據(jù)遷移至新數(shù)組。

加載因子

判斷擴(kuò)充的條件,就是哈希表中的加載因子(即loadFactor)。

加載因子是一個(gè)閾值,一般表示為:散列包含的元素?cái)?shù) 除以 位置總數(shù)。是一種“產(chǎn)生沖突機(jī)會(huì)”和“空間使用”的平衡與折中:加載因子越小,說(shuō)明空間空置率高,空間使用率小,但是加載因子越大,說(shuō)明空間利用率上去了,但是“產(chǎn)生沖突機(jī)會(huì)”高了。

每種哈希表的都會(huì)有一個(gè)加載因子,數(shù)值超過(guò)加載因子就會(huì)為哈希表擴(kuò)容。

Golang的map的加載因子的公式是:map長(zhǎng)度 / 2^B(這是代表bmap數(shù)組的長(zhǎng)度,B是取的低位的位數(shù))閾值是6.5。其中B可以理解為已擴(kuò)容的次數(shù)。

當(dāng)Go的map長(zhǎng)度增長(zhǎng)到大于加載因子所需的map長(zhǎng)度時(shí),Go語(yǔ)言就會(huì)將產(chǎn)生一個(gè)新的bucket數(shù)組,然后把舊的bucket數(shù)組移到一個(gè)屬性字段oldbucket中。注意:并不是立刻把舊的數(shù)組中的元素轉(zhuǎn)義到新的bucket當(dāng)中,而是,只有當(dāng)訪問(wèn)到具體的某個(gè)bucket的時(shí)候,會(huì)把bucket中的數(shù)據(jù)轉(zhuǎn)移到新的bucket中。

如下圖所示:當(dāng)擴(kuò)容的時(shí)候,Go的map結(jié)構(gòu)體中,會(huì)保存舊的數(shù)據(jù),和新生成的數(shù)組

上面部分代表舊的有數(shù)據(jù)的bucket,下面部分代表新生成的新的bucket。藍(lán)色代表存有數(shù)據(jù)的bucket,橘黃色代表空的bucket。

擴(kuò)容時(shí)map并不會(huì)立即把新數(shù)據(jù)做遷移,而是當(dāng)訪問(wèn)原來(lái)舊bucket的數(shù)據(jù)的時(shí)候,才把舊數(shù)據(jù)做遷移,如下圖:

注意:這里并不會(huì)直接刪除舊的bucket,而是把原來(lái)的引用去掉,利用GC清除內(nèi)存。

map中數(shù)據(jù)的刪除

如果理解了map的整體結(jié)構(gòu),那么查找、更新、刪除的基本步驟應(yīng)該都很清楚了。這里不再贅述。

值得注意的是,找到了map中的數(shù)據(jù)之后,針對(duì)key和value分別做如下操作:

1

2

3

4

1、如果``key``是一個(gè)指針類(lèi)型的,則直接將其置為空,等待GC清除;

2、如果是值類(lèi)型的,則清除相關(guān)內(nèi)存。

3、同理,對(duì)``value``做相同的操作。

4、最后把key對(duì)應(yīng)的高位值對(duì)應(yīng)的數(shù)組index置為空。

golang變量(二)——map和slice詳解

衍生類(lèi)型,interface{} , map, [] ,struct等

map類(lèi)似于java的hashmap,python的dict,php的hash array。

常規(guī)的for循環(huán),可以用for k,v :=range m {}. 但在下面清空有一個(gè)坑注意:

著名的map[string]*struct 副本問(wèn)題

結(jié)果:

Go 中不存在引用傳遞,所有的參數(shù)傳遞都是值傳遞,而map是等同于指針類(lèi)型的,所以在把map變量傳遞給函數(shù)時(shí),函數(shù)對(duì)map的修改,也會(huì)實(shí)質(zhì)改變map的值。

slice類(lèi)似于其他語(yǔ)言的數(shù)組(list,array),slice初始化和map一樣,這里不在重復(fù)

除了Pointer數(shù)組外,len表示使用長(zhǎng)度,cap是總?cè)萘浚琺ake([]int, len, cap)可以預(yù)申請(qǐng) 比較大的容量,這樣可以減少容量拓展的消耗,前提是要用到。

cap是計(jì)算切片容量,len是計(jì)算變量長(zhǎng)度的,兩者不一樣。具體例子如下:

結(jié)果:

分析:cap是計(jì)算當(dāng)前slice已分配的容量大小,采用的是預(yù)分配的伙伴算法(當(dāng)容量滿時(shí),拓展分配一倍的容量)。

append是slice非常常用的函數(shù),用于添加數(shù)據(jù)到slice中,但如果使用不好,會(huì)有下面的問(wèn)題:

預(yù)期是[1 2 3 4 5 6 7 8 9 10], [1 2 3 4 5 6 7 8 9 10 11 12],但實(shí)際結(jié)果是:

注意slice是值傳遞,修改一下:

輸出如下:

== 只能用于判斷常規(guī)數(shù)據(jù)類(lèi)型,無(wú)法使用用于slice和map判斷,用于判斷map和slice可以使用reflect.DeepEqual,這個(gè)函數(shù)用了遞歸來(lái)判斷每層的k,v是否一致。

當(dāng)然還有其他方式,比如轉(zhuǎn)換成json,但小心有一些異常的bug,比如html編碼,具體這個(gè)json問(wèn)題,待后面在分析。

分享名稱:go語(yǔ)言map擴(kuò)容 go map容量
文章起源:http://www.rwnh.cn/article32/dopphsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、服務(wù)器托管網(wǎng)站維護(hù)、網(wǎng)站內(nèi)鏈、App開(kāi)發(fā)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

手機(jī)網(wǎng)站建設(shè)
沂南县| 凉城县| 武胜县| 新沂市| 武冈市| 利津县| 潜山县| 岐山县| 沅陵县| 惠来县| 新河县| 周宁县| 孟连| 梁河县| 义乌市| 龙州县| 北京市| 本溪| 武强县| 张北县| 长宁区| 仪征市| 剑川县| 天水市| 沙坪坝区| 肃南| 三穗县| 扎兰屯市| 桂平市| 仪征市| 鲜城| 余姚市| 蛟河市| 温州市| 外汇| 富宁县| 大庆市| 玉环县| 分宜县| 汉川市| 涞水县|