Golang database/sql源碼分析

Gorm是Go語(yǔ)言開(kāi)發(fā)用的比較多的一個(gè)ORM。它的功能比較全：

10年積累的網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有梧州免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

但是這篇文章中并不會(huì)直接看Gorm的源碼，我們會(huì)先從database/sql分析。原因是Gorm也是基于這個(gè)包來(lái)封裝的一些功能。所以只有先了解了database/sql包才能更加好的理解Gorm源碼。

database/sql 其實(shí)也是一個(gè)對(duì)于mysql驅(qū)動(dòng)的上層封裝?！眊ithub.com/go-sql-driver/mysql”就是一個(gè)對(duì)于mysql的驅(qū)動(dòng)，database/sql 就是在這個(gè)基礎(chǔ)上做的基本封裝包含連接池的使用

下面這個(gè)是最基本的增刪改查操作

操作分下面幾個(gè)步驟：

因?yàn)镚orm的連接池就是使用database/sql包中的連接池，所以這里我們需要學(xué)習(xí)一下包里的連接池的源碼實(shí)現(xiàn)。其實(shí)所有連接池最重要的就是連接池對(duì)象、獲取函數(shù)、釋放函數(shù)下面來(lái)看一下database/sql中的連接池。

DB對(duì)象

獲取方法

釋放連接方法

連接池的實(shí)現(xiàn)有很多方法，在database/sql包中使用的是chan阻塞 使用map記錄等待列表，等到有連接釋放的時(shí)候再把連接傳入等待列表中的chan 不在阻塞返回連接。

之前我們看到的Redigo是使用一個(gè)chan 來(lái)阻塞，然后釋放的時(shí)候放入空閑列表，在往這一個(gè)chan中傳入struct{}{}，讓程序繼續(xù) 獲取的時(shí)候再?gòu)目臻e列表中獲取。并且使用的是鏈表的結(jié)構(gòu)來(lái)存儲(chǔ)空閑列表。

database/sql 是對(duì)于mysql驅(qū)動(dòng)的封裝，然而Gorm則是對(duì)于database/sql的再次封裝。讓我們可以更加簡(jiǎn)單的實(shí)現(xiàn)對(duì)于mysql數(shù)據(jù)庫(kù)的操作。

golang配制高性能sql.DB

有很多教程是關(guān)于Go的sql.DB類型和如何使用它來(lái)執(zhí)行SQL數(shù)據(jù)庫(kù)查詢的。但大多數(shù)內(nèi)容都沒(méi)有講述 SetMaxOpenConns() , SetMaxIdleConns() 和 SetConnMaxLifetime()方法， 您可以使用它們來(lái)配置sql.DB的行為并改變其性能。

轉(zhuǎn)自：

整理：go語(yǔ)言中文文檔：

在本文我將詳細(xì)解釋這些設(shè)置的作用，并說(shuō)明它們所能產(chǎn)生的(積極和消極)影響。

一個(gè)sql.DB對(duì)象就是一個(gè)數(shù)據(jù)庫(kù)連接池，它包含“正在用”和“空閑的”連接。一個(gè)正在用的連接指的是，你正用它來(lái)執(zhí)行數(shù)據(jù)庫(kù)任務(wù)，例如執(zhí)行SQL語(yǔ)句或行查詢。當(dāng)任務(wù)完成連接就是空閑的。

當(dāng)您創(chuàng)建sql.DB執(zhí)行數(shù)據(jù)庫(kù)任務(wù)時(shí)，它將首先檢查連接池中是否有可用的空閑連接。如果有可用的連接，那么Go將重用現(xiàn)有連接，并在執(zhí)行任務(wù)期間將其標(biāo)記為正在使用。如果池中沒(méi)有空閑連接，而您需要一個(gè)空閑連接，那么Go將創(chuàng)建一個(gè)新的連接。

默認(rèn)情況下，在同一時(shí)間打開(kāi)連接的數(shù)量是沒(méi)有限制(包含使用中+空閑)。但你可以通過(guò)SetMaxOpenConns()方法實(shí)現(xiàn)自定義限制，如下所示:

在這個(gè)示例代碼中，連接池現(xiàn)在有5個(gè)并發(fā)打開(kāi)的連接數(shù)。如果所有5個(gè)連接都已經(jīng)被標(biāo)記為正在使用，并且需要另一個(gè)新的連接，那么應(yīng)用程序?qū)⒈黄鹊却钡?個(gè)連接中的一個(gè)被釋放并變?yōu)榭臻e。

為了說(shuō)明更改MaxOpenConns的影響，我運(yùn)行了一個(gè)基準(zhǔn)測(cè)試，將最大打開(kāi)連接數(shù)設(shè)置為1、2、5、10和無(wú)限?；鶞?zhǔn)測(cè)試在PostgreSQL數(shù)據(jù)庫(kù)上執(zhí)行并行的INSERT語(yǔ)句，您可以在這里找到代碼。測(cè)試結(jié)果:

對(duì)于這個(gè)基準(zhǔn)測(cè)試，我們可以看到，允許打開(kāi)的連接越多，在數(shù)據(jù)庫(kù)上執(zhí)行INSERT操作所花費(fèi)的時(shí)間就越少(打開(kāi)的連接數(shù)為1時(shí)，執(zhí)行速度3129633ns/op，而無(wú)限連接：531030ns/op——大約快了6倍)。這是因?yàn)樵试S打開(kāi)的連接越多，可以并發(fā)執(zhí)行的數(shù)據(jù)庫(kù)查詢就越多。

默認(rèn)情況下，sql.DB允許連接池中最多保留2個(gè)空閑連接。你可以通過(guò)SetMaxIdleConns()方法改變它，如下所示:

從理論上講，允許池中有更多的空閑連接將提高性能，因?yàn)檫@樣就不太可能從頭開(kāi)始建立新連接——因此有助于提升數(shù)據(jù)庫(kù)性能。

讓我們來(lái)看看相同的基準(zhǔn)測(cè)試，最大空閑連接設(shè)置為none, 1,2,5和10:

當(dāng)MaxIdleConns設(shè)置為none時(shí)，必須為每個(gè)INSERT從頭創(chuàng)建一個(gè)新的連接，我們可以從基準(zhǔn)測(cè)試中看到，平均運(yùn)行時(shí)和內(nèi)存使用量相對(duì)較高。

只允許保留和重用一個(gè)空閑連接對(duì)基準(zhǔn)測(cè)試影響特別明顯——它將平均運(yùn)行時(shí)間減少了大約8倍，內(nèi)存使用量減少了大約20倍。繼續(xù)增加空閑連接池的大小會(huì)使性能變得更好，盡管改進(jìn)并不明顯。

那么，您應(yīng)該維護(hù)一個(gè)大的空閑連接池嗎?答案取決于應(yīng)用程序。重要的是要意識(shí)到保持空閑連接是有代價(jià)的—它占用了可以用于應(yīng)用程序和數(shù)據(jù)庫(kù)的內(nèi)存。

還有一種可能是，如果一個(gè)連接空閑時(shí)間太長(zhǎng)，那么它可能會(huì)變得不可用。例如，MySQL的wait_timeout設(shè)置將自動(dòng)關(guān)閉任何8小時(shí)(默認(rèn))內(nèi)未使用的連接。

當(dāng)發(fā)生這種情況時(shí)，sql.DB會(huì)優(yōu)雅地處理它。壞連接將自動(dòng)重試兩次，然后放棄，此時(shí)Go將該連接從連接池中刪除，并創(chuàng)建一個(gè)新的連接。因此，將MaxIdleConns設(shè)置得太大可能會(huì)導(dǎo)致連接變得不可用，與空閑連接池更小(使用更頻繁的連接更少)相比，會(huì)占有更多的資源。所以，如果你很可能很快就會(huì)再次使用，你只需保持一個(gè)空閑的連接。

最后要指出的是，MaxIdleConns應(yīng)該總是小于或等于MaxOpenConns。Go強(qiáng)制執(zhí)行此操作，并在必要時(shí)自動(dòng)減少M(fèi)axIdleConns。

現(xiàn)在讓我們看看SetConnMaxLifetime()方法，它設(shè)置連接可重用的最大時(shí)間長(zhǎng)度。如果您的SQL數(shù)據(jù)庫(kù)也實(shí)現(xiàn)了最大連接生命周期，或者—例如—您希望方便地在負(fù)載均衡器后交換數(shù)據(jù)庫(kù)，那么這將非常有用。

你可以這樣使用它:

在這個(gè)例子中，所有的連接都將在創(chuàng)建后1小時(shí)“過(guò)期”，并且在過(guò)期后無(wú)法重用。但注意:

從理論上講，ConnMaxLifetime越短，連接過(guò)期的頻率就越高——因此，需要從頭創(chuàng)建連接的頻率就越高。為了說(shuō)明這一點(diǎn)，我運(yùn)行了將ConnMaxLifetime設(shè)置為100ms、200ms、500ms、1000ms和無(wú)限(永遠(yuǎn)重用)的基準(zhǔn)測(cè)試，默認(rèn)設(shè)置為無(wú)限打開(kāi)連接和2個(gè)空閑連接。這些時(shí)間段顯然比您在大多數(shù)應(yīng)用程序中使用的時(shí)間要短得多，但它們有助于很好地說(shuō)明行為。

在這些特定的基準(zhǔn)測(cè)試中，我們可以看到，與無(wú)限生存期相比，在100ms生存期時(shí)內(nèi)存使用量增加了3倍以上，而且每個(gè)INSERT的平均運(yùn)行時(shí)也稍微長(zhǎng)一些。

如果您在代碼中設(shè)置了ConnMaxLifetime，那么一定要記住連接將過(guò)期(隨后重新創(chuàng)建)的頻率。例如，如果您總共有100個(gè)連接，而ConnMaxLifetime為1分鐘，那么您的應(yīng)用程序可能每秒鐘殺死和重新創(chuàng)建1.67個(gè)連接(平均值)。您不希望這個(gè)頻率太大，最終會(huì)阻礙性能，而不是提高性能。

最后，如果不說(shuō)明超過(guò)數(shù)據(jù)庫(kù)連接數(shù)量的硬限制將會(huì)發(fā)生什么，那么本文就不完整了。 為了說(shuō)明這一點(diǎn)，我將修改postgresql.conf文件，這樣總共只允許5個(gè)連接(默認(rèn)是100個(gè))…

然后在無(wú)限連接的情況下重新運(yùn)行基準(zhǔn)測(cè)試……

一旦達(dá)到5個(gè)連接的硬限制，數(shù)據(jù)庫(kù)驅(qū)動(dòng)程序(pq)立即返回一個(gè)太多客戶端連接的錯(cuò)誤消息，而無(wú)法完成INSERT。為了防止這個(gè)錯(cuò)誤，我們需要將sql.DB中打開(kāi)連接的最大總數(shù)(正在使用的+空閑的)設(shè)置為低于5。像這樣:

現(xiàn)在，sql.DB在任何時(shí)候最多只能創(chuàng)建3個(gè)連接，基準(zhǔn)測(cè)試運(yùn)行時(shí)應(yīng)該不會(huì)出現(xiàn)任何錯(cuò)誤。但是這樣做需要注意：當(dāng)達(dá)到開(kāi)放連接數(shù)限制，并且所有連接都在使用時(shí)，應(yīng)用程序需要執(zhí)行的任何新的數(shù)據(jù)庫(kù)任務(wù)都將被迫等待，直到連接標(biāo)記為空閑。例如，在web應(yīng)用程序的上下文中，用戶的HTTP請(qǐng)求看起來(lái)會(huì)“掛起”，甚至在等待數(shù)據(jù)庫(kù)任務(wù)運(yùn)行時(shí)可能會(huì)超時(shí)。

為了減輕這種情況，你應(yīng)該始終在一個(gè)上下文中傳遞。在調(diào)用數(shù)據(jù)庫(kù)時(shí)，啟用上下文的方法(如ExecContext())，使用固定的、快速的超時(shí)上下文對(duì)象。

總結(jié)

1、根據(jù)經(jīng)驗(yàn)，應(yīng)該顯式設(shè)置MaxOpenConns值。這應(yīng)該小于數(shù)據(jù)庫(kù)和基礎(chǔ)設(shè)施對(duì)連接數(shù)量的硬性限制。

2、一般來(lái)說(shuō)，更高的MaxOpenConns和MaxIdleConns值將帶來(lái)更好的性能。但你應(yīng)該注意到效果是遞減的，連接池空閑連接太多(連接沒(méi)有被重用，最終會(huì)變壞)實(shí)際上會(huì)導(dǎo)致性能下降。

3、為了降低上面第2點(diǎn)帶來(lái)的風(fēng)險(xiǎn)，您可能需要設(shè)置一個(gè)相對(duì)較短的ConnMaxLifetime。但你也不希望它太短，導(dǎo)致連接被殺死或不必要地頻繁重建。

4、MaxIdleConns應(yīng)該總是小于或等于MaxOpenConns。

對(duì)于中小型web應(yīng)用程序，我通常使用以下設(shè)置作為起點(diǎn)，然后根據(jù)實(shí)際吞吐量水平的負(fù)載測(cè)試結(jié)果進(jìn)行優(yōu)化。

go語(yǔ)言能做什么？

很多朋友可能知道Go語(yǔ)言的優(yōu)勢(shì)在哪，卻不知道Go語(yǔ)言適合用于哪些地方。

1、 Go語(yǔ)言作為服務(wù)器編程語(yǔ)言，很適合處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)、分布式系統(tǒng)、數(shù)據(jù)庫(kù)代理等；網(wǎng)絡(luò)編程方面。Go語(yǔ)言廣泛應(yīng)用于Web應(yīng)用、API應(yīng)用、下載應(yīng)用等；除此之外，Go語(yǔ)言還可用于內(nèi)存數(shù)據(jù)庫(kù)和云平臺(tái)領(lǐng)域，目前國(guó)外很多云平臺(tái)都是采用Go開(kāi)發(fā)。

2、 其實(shí)Go語(yǔ)言主要用作服務(wù)器端開(kāi)發(fā)。其定位是用來(lái)開(kāi)發(fā)"大型軟件"的，適合于很多程序員一起開(kāi)發(fā)大型軟件，并且開(kāi)發(fā)周期長(zhǎng)，支持云計(jì)算的網(wǎng)絡(luò)服務(wù)。Go語(yǔ)言能夠讓程序員快速開(kāi)發(fā)，并且在軟件不斷的增長(zhǎng)過(guò)程中，它能讓程序員更容易地進(jìn)行維護(hù)和修改。它融合了傳統(tǒng)編譯型語(yǔ)言的高效性和腳本語(yǔ)言的易用性和富于表達(dá)性。

3、 Go語(yǔ)言成功案例。Nsq：Nsq是由Go語(yǔ)言開(kāi)發(fā)的高性能、高可用消息隊(duì)列系統(tǒng)，性能非常高，每天能處理數(shù)十億條的消息；

4、 Docker：基于lxc的一個(gè)虛擬打包工具，能夠?qū)崿F(xiàn)PAAS平臺(tái)的組建。

5、 Packer：用來(lái)生成不同平臺(tái)的鏡像文件，例如VM、vbox、AWS等，作者是vagrant的作者

6、 Skynet：分布式調(diào)度框架。

7、 Doozer：分布式同步工具，類似ZooKeeper。

8、 Heka：mazila開(kāi)源的日志處理系統(tǒng)。

9、 Cbfs：couchbase開(kāi)源的分布式文件系統(tǒng)。

10、 Tsuru：開(kāi)源的PAAS平臺(tái)，和SAE實(shí)現(xiàn)的功能一模一樣。

11、 Groupcache：memcahe作者寫(xiě)的用于Google下載系統(tǒng)的緩存系統(tǒng)。

12、 God：類似redis的緩存系統(tǒng)，但是支持分布式和擴(kuò)展性。

13、 Gor：網(wǎng)絡(luò)流量抓包和重放工具。

以上的就是關(guān)于go語(yǔ)言能做什么的內(nèi)容介紹了。

本文標(biāo)題：go語(yǔ)言訪問(wèn)數(shù)據(jù)庫(kù) go 訪問(wèn)數(shù)據(jù)庫(kù)
分享鏈接：http://www.rwnh.cn/article28/doohgjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開(kāi)發(fā)、靜態(tài)網(wǎng)站、網(wǎng)站策劃、網(wǎng)站營(yíng)銷、品牌網(wǎng)站設(shè)計(jì)、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)