如何在python中利用lmdb對(duì)數(shù)據(jù)進(jìn)行讀取？針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

創(chuàng)新互聯(lián)是一家專業(yè)提供秭歸企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)、HTML5建站、小程序制作等業(yè)務(wù)。10年已為秭歸眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

由于c++速度快，所以一般寫(xiě)入數(shù)據(jù)我調(diào)用c++借口，而讀取數(shù)據(jù)使用c++也行，但有時(shí)候Python在某方面方便，所以通過(guò)使用python借口僅僅對(duì)lmdb文件讀取，處理數(shù)據(jù)是圖片

import lmdb
import numpy as np
import cv2
lmdb_file = "/home/rui/demo"
lmdb_env = lmdb.open(lmdb_file)
lmdb_txn = lmdb_env.begin()
lmdb_cursor = lmdb_txn.cursor()
for key, value in lmdb_cursor:
  img = cv2.imdecode(np.fromstring(value, np.uint8), 3);
  cv2.imshow("demo", img)
  cv2.waitKey(0)

補(bǔ)充知識(shí)：Python解析lmdb格式mnist數(shù)據(jù)集

背景

HDF5和LMDB都是Cafffe中常用的數(shù)據(jù)庫(kù)。相對(duì)來(lái)說(shuō)，HDF5的讀寫(xiě)格式簡(jiǎn)單；LMDB采用內(nèi)存-映射文件（memory-mapped files），所以擁有非常好的I/O性能，而且對(duì)于大型數(shù)據(jù)庫(kù)來(lái)說(shuō)，HDF5的文件常常整個(gè)寫(xiě)入內(nèi)存。

所以HDF5的文件大小就受限于內(nèi)存大小，當(dāng)然也可以通過(guò)文件分割來(lái)解決問(wèn)題，但其I/O性能就不如LMDB的頁(yè)緩存（page cachiing）策略了。

MNIST手寫(xiě)數(shù)字字符識(shí)別實(shí)驗(yàn)在deep learning 中經(jīng)常用到，這里使用Python來(lái)獲取lmdb格式MNIST數(shù)據(jù)集中的圖片并顯示出來(lái)

Python讀取LMDB

首先確認(rèn)你安裝了lmdb和Caffe的python包（Caffe中的pycaffe）。

pip install lmdb

LMDB采用鍵值對(duì)的存儲(chǔ)格式，key就是字符形式的ID，value是Caffe中Datum類的序列化形式。

# -*- coding:utf-8 -*-
import caffe
from caffe.proto import caffe_pb2
import lmdb
import cv2 as cv
env = lmdb.open("mnist_train_lmdb", readonly=True) # 打開(kāi)數(shù)據(jù)文件
txn = env.begin() # 生成處理句柄
cur = txn.cursor() # 生成迭代器指針
datum = caffe_pb2.Datum() # caffe 定義的數(shù)據(jù)類型
for key, value in cur:
  print(type(key), key)
  datum.ParseFromString(value) # 反序列化成datum對(duì)象
  label = datum.label
  data = caffe.io.datum_to_array(datum)
  print data.shape
  print datum.channels
  image = data[0]
  # image = data.transpose(1, 2, 0)
  print(type(label))
  cv.imshow(str(label), image)
  cv.waitKey(0)
cv.destroyAllWindows()
env.close()

運(yùn)行結(jié)果：

讀取LMDB數(shù)據(jù)庫(kù)中的Datum數(shù)據(jù)，這里再稍微介紹一下Datum的格式：channels：圖片的通道，彩色圖有3個(gè)通道，灰度圖只有1通道，當(dāng)然也可以用通道數(shù)來(lái)表示其他意思，比如表示兩張圖片，每個(gè)通道一個(gè)單張的圖；height：圖片（即data）的高；width：圖片（即data）的寬；data：圖片的數(shù)據(jù)（像素值）；label：圖片的label。(datum.channels, datum.height, datum.width)

關(guān)于如何在python中利用lmdb對(duì)數(shù)據(jù)進(jìn)行讀取問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

文章名稱：如何在python中利用lmdb對(duì)數(shù)據(jù)進(jìn)行讀取-創(chuàng)新互聯(lián)
網(wǎng)站URL：http://www.rwnh.cn/article36/ccispg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、品牌網(wǎng)站建設(shè)、商城網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)