ceph 塊存儲(chǔ)rbd的使用，使用普通戶創(chuàng)建和掛載rbd

ceph@ceph-deploy:~/ceph-cluster$ ceph osd pool create rbd1-data 32 32

創(chuàng)新互聯(lián)公司專注于清豐網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供清豐營(yíng)銷型網(wǎng)站建設(shè)，清豐網(wǎng)站制作、清豐網(wǎng)頁(yè)設(shè)計(jì)、清豐網(wǎng)站官網(wǎng)定制、成都小程序開(kāi)發(fā)服務(wù)，打造清豐網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供清豐網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

pool 'rbd1-data' created

ceph@ceph-deploy:~/ceph-cluster$ ceph osd pool ls

device_health_metrics

mypool

.rgw.root

default.rgw.log

default.rgw.control

default.rgw.meta

myrbd1

cephfs-metadata

cephfs-data

rbd1-data

在存儲(chǔ)池啟用rbd：

ceph@ceph-deploy:~/ceph-cluster$ ceph osd pool application enable rbd1-data rbd

enabled application 'rbd' on pool 'rbd1-data'

初始化存儲(chǔ)池：

ceph@ceph-deploy:~/ceph-cluster$ rbd pool init -p rbd1-data

創(chuàng)建存儲(chǔ)池映像文件：

映像文件的管理都是rbd命令來(lái)執(zhí)行，rbd可對(duì)映像執(zhí)行創(chuàng)建，查看，刪除，以及創(chuàng)建快照，克隆映像，刪除快照，查看快照，快照回滾等管理操作

ceph@ceph-deploy:~/ceph-cluster$ rbd create data-img1 --size 3G --pool rbd1-data --image-format 2 --image-feature layering

ceph@ceph-deploy:~/ceph-cluster$ rbd create data-img2 --size 5G --pool rbd1-data --image-format 2 --image-feature layering

查看存儲(chǔ)池映像文件

ceph@ceph-deploy:~/ceph-cluster$ rbd list --pool rbd1-data

data-img1

data-img2

列出映像更多信息

ceph@ceph-deploy:~/ceph-cluster$ rbd list --pool rbd1-data -l

NAME? ? ? SIZE? PARENT? FMT? PROT? LOCK

data-img1? 3 GiB? ? ? ? ? ? 2? ? ? ? ? ?

data-img2? 5 GiB? ? ? ? ? ? 2

ceph@ceph-deploy:~/ceph-cluster$ rbd --image data-img1 --pool rbd1-data info

rbd image 'data-img1':

size 3 GiB in 768 objects

order 22 (4 MiB objects)

snapshot_count: 0

id: 3ab91c6a62f5

block_name_prefix: rbd_data.3ab91c6a62f5

format: 2

features: layering

op_features:

flags:

create_timestamp: Thu Sep? 2 06:48:11 2021

access_timestamp: Thu Sep? 2 06:48:11 2021

modify_timestamp: Thu Sep? 2 06:48:11 2021

ceph@ceph-deploy:~/ceph-cluster$ rbd --image data-img1 --pool rbd1-data info --format json --pretty-format

{

"name": "data-img1",

"id": "3ab91c6a62f5",

"size": 3221225472,

"objects": 768,

"order": 22,

"object_size": 4194304,

"snapshot_count": 0,

"block_name_prefix": "rbd_data.3ab91c6a62f5",

"format": 2,

"features": [

? ? "layering"

],

"op_features": [],

"flags": [],

"create_timestamp": "Thu Sep? 2 06:48:11 2021",

"access_timestamp": "Thu Sep? 2 06:48:11 2021",

"modify_timestamp": "Thu Sep? 2 06:48:11 2021"

}

鏡像(映像)特性的啟用和禁用

特性包括：

layering支持分層快照特性? 默認(rèn)開(kāi)啟

striping條帶化

exclusive-lock：支持獨(dú)占鎖? 默認(rèn)開(kāi)啟

object-map 支持對(duì)象映射，加速數(shù)據(jù)導(dǎo)入導(dǎo)出及已用空間特性統(tǒng)計(jì)等? 默認(rèn)開(kāi)啟

fast-diff 快速計(jì)算對(duì)象和快找數(shù)據(jù)差異對(duì)比? 默認(rèn)開(kāi)啟

deep-flatten? 支持快照扁平化操作? 默認(rèn)開(kāi)啟

journaling? 是否記錄日志

開(kāi)啟：

ceph@ceph-deploy:~/ceph-cluster$ rbd feature enable object-map --pool rbd1-data --image data-img1

ceph@ceph-deploy:~/ceph-cluster$ rbd feature enable fast-diff --pool rbd1-data --image data-img1

ceph@ceph-deploy:~/ceph-cluster$ rbd feature enable exclusive-lock --pool rbd1-data --image data-img1

禁止：

ceph@ceph-deploy:~/ceph-cluster$ rbd feature disable object-map --pool rbd1-data --image data-img1

ceph@ceph-deploy:~/ceph-cluster$ rbd feature disable fast-diff --pool rbd1-data --image data-img1

ceph@ceph-deploy:~/ceph-cluster$ rbd feature disable exclusive-lock --pool rbd1-data --image data-img1

客戶端使用塊設(shè)備：

首先要安裝ceph-comman，配置授權(quán)

[root@ceph-client1 ceph_data]# yum install -y

[root@ceph-client1 ceph_data]# yum install ceph-common -y?

授權(quán),

ceph@ceph-deploy:/etc/ceph$ sudo -i

root@ceph-deploy:~# cd /etc/ceph/? ? ? ? ? ?

root@ceph-deploy:/etc/ceph# scp ceph.conf ceph.client.admin.keyring root@192.168.241.21:/etc/ceph

ubuntu系統(tǒng)：

root@ceph-client2:/var/lib/ceph# apt install -y ceph-common

root@ceph-deploy:/etc/ceph# sudo scp ceph.conf ceph.client.admin.keyring ceph@192.168.241.22:/tmp

ceph@192.168.241.22's password:

ceph.conf? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 100%? 270? 117.7KB/s? 00:00? ?

ceph.client.admin.keyring

root@ceph-client2:/var/lib/ceph# cd /etc/ceph/

root@ceph-client2:/etc/ceph# cp /tmp/ceph.c* /etc/ceph/

root@ceph-client2:/etc/ceph# ll /etc/ceph/

total 20

drwxr-xr-x? 2 root root 4096 Aug 26 07:58 ./

drwxr-xr-x 84 root root 4096 Aug 26 07:49 ../

-rw-------? 1 root root? 151 Sep? 2 07:24 ceph.client.admin.keyring

-rw-r--r--? 1 root root? 270 Sep? 2 07:24 ceph.conf

-rw-r--r--? 1 root root? 92 Jul? 8 07:17 rbdmap

-rw-------? 1 root root? ? 0 Aug 26 07:58 tmpmhFvZ7

客戶端映射鏡像

root@ceph-client2:/etc/ceph# rbd -p rbd1-data map data-img1

rbd: sysfs write failed

RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable rbd1-data/data-img1 object-map fast-diff".

In some cases useful info is found in syslog - try "dmesg | tail".

rbd: map failed: (6) No such device or address

root@ceph-client2:/etc/ceph# rbd feature disable rbd1-data/data-img1 object-map fast-diff

root@ceph-client2:/etc/ceph# rbd -p rbd1-data map data-img1

/dev/rbd0

root@ceph-client2:/etc/ceph# rbd -p rbd1-data map data-img2

格式化塊設(shè)備admin映射映像文件

查看塊設(shè)備

root@ceph-client2:/etc/ceph# lsblk

NAME? MAJ:MIN RM? SIZE RO TYPE MOUNTPOINT

sda? ? ? 8:0? ? 0? 20G? 0 disk

└─sda1? 8:1? ? 0? 20G? 0 part /

sr0? ? 11:0? ? 1 1024M? 0 rom?

rbd0? 252:0? ? 0? ? 3G? 0 disk

rbd1? 252:16? 0? ? 5G? 0 disk

root@ceph-client2:/etc/ceph# mkfs.ext4 /dev/rbd1

mke2fs 1.44.1 (24-Mar-2018)

Discarding device blocks: done? ? ? ? ? ? ? ? ? ? ? ? ? ?

Creating filesystem with 1310720 4k blocks and 327680 inodes

Filesystem UUID: 168b99e6-a3d7-4dc6-9c69-76ce8b42f636

Superblock backups stored on blocks:

32768, 98304, 163840, 229376, 294912, 819200, 884736

Allocating group tables: done? ? ? ? ? ? ? ? ? ? ? ? ? ?

Writing inode tables: done? ? ? ? ? ? ? ? ? ? ? ? ? ?

Creating journal (16384 blocks): done

Writing superblocks and filesystem accounting information: done

掛在掛設(shè)備

root@ceph-client2:/etc/ceph# mkdir /data/data1 -p

root@ceph-client2:/etc/ceph# mount /dev/rbd1 /data/data1/

驗(yàn)證寫入數(shù)據(jù)：

root@ceph-client2:/etc/ceph# cd /data/data1/

root@ceph-client2:/data/data1# cp /var/log/ . -r

root@ceph-client2:/data/data1# ceph df

--- RAW STORAGE ---

CLASS? ? SIZE? ? AVAIL? ? USED? RAW USED? %RAW USED

hdd? ? 220 GiB? 213 GiB? 7.4 GiB? 7.4 GiB? ? ? 3.37

TOTAL? 220 GiB? 213 GiB? 7.4 GiB? 7.4 GiB? ? ? 3.37

--- POOLS ---

POOL? ? ? ? ? ? ? ? ? ID? PGS? STORED? OBJECTS? ? USED? %USED? MAX AVAIL

device_health_metrics? 1? ? 1? ? ? 0 B? ? ? ? 0? ? ? 0 B? ? ? 0? ? 66 GiB

mypool? ? ? ? ? ? ? ? ? 2? 32? 1.2 MiB? ? ? ? 1? 3.5 MiB? ? ? 0? ? 66 GiB

.rgw.root? ? ? ? ? ? ? 3? 32? 1.3 KiB? ? ? ? 4? 48 KiB? ? ? 0? ? 66 GiB

default.rgw.log? ? ? ? 4? 32? 3.6 KiB? ? ? 209? 408 KiB? ? ? 0? ? 66 GiB

default.rgw.control? ? 5? 32? ? ? 0 B? ? ? ? 8? ? ? 0 B? ? ? 0? ? 66 GiB

default.rgw.meta? ? ? ? 6? ? 8? ? ? 0 B? ? ? ? 0? ? ? 0 B? ? ? 0? ? 66 GiB

myrbd1? ? ? ? ? ? ? ? ? 7? 64? 829 MiB? ? ? 223? 2.4 GiB? 1.20? ? 66 GiB

cephfs-metadata? ? ? ? 8? 32? 563 KiB? ? ? 23? 1.7 MiB? ? ? 0? ? 66 GiB

cephfs-data? ? ? ? ? ? 9? 64? 455 MiB? ? ? 129? 1.3 GiB? 0.66? ? 66 GiB

rbd1-data? ? ? ? ? ? ? 10? 32? 124 MiB? ? ? 51? 373 MiB? 0.18? ? 66 GiB

創(chuàng)建普通用戶并授權(quán)

root@ceph-deploy:/etc/ceph# ceph auth add client.huahualin mon "allow rw"? osd "allow rwx pool=rbd1-data"

added key for client.huahualin

root@ceph-deploy:/etc/ceph# ceph-authtool --create-keyring ceph.client.huahualin.keyring

creating ceph.client.huahualin.keyring

root@ceph-deploy:/etc/ceph# ceph auth? get client.huahualin -o ceph.client.huahualin.keyring

exported keyring for client.huahualin

使用普通用戶創(chuàng)建rbd

root@ceph-deploy:/etc/ceph# scp ceph.conf ceph.client.huahualin.keyring? root@192.168.241.21:/etc/ceph/

普通用戶映射鏡像

[root@ceph-client1 ~]# rbd --user huahualin --pool rbd1-data map data-img2

/dev/rbd0

使用普通用戶掛載rbd

[root@ceph-client1 ~]# mkfs.ext4 /dev/rbd0

[root@ceph-client1 ~]# fdisk -l /dev/rbd0

[root@ceph-client1 ~]# mkdir /data

[root@ceph-client1 ~]# mount? /dev/rbd0 /data

[root@ceph-client1 ~]# df -Th

Filesystem? ? ? ? ? ? ? Type? ? ? Size? Used Avail Use% Mounted on

devtmpfs? ? ? ? ? ? ? ? devtmpfs? 475M? ? 0? 475M? 0% /dev

tmpfs? ? ? ? ? ? ? ? ? tmpfs? ? 487M? ? 0? 487M? 0% /dev/shm

tmpfs? ? ? ? ? ? ? ? ? tmpfs? ? 487M? 7.7M? 479M? 2% /run

tmpfs? ? ? ? ? ? ? ? ? tmpfs? ? 487M? ? 0? 487M? 0% /sys/fs/cgroup

/dev/mapper/centos-root xfs? ? ? ? 37G? 1.7G? 36G? 5% /

/dev/sda1? ? ? ? ? ? ? xfs? ? ? 1014M? 138M? 877M? 14% /boot

tmpfs? ? ? ? ? ? ? ? ? tmpfs? ? ? 98M? ? 0? 98M? 0% /run/user/0

192.168.241.12:6789:/? ceph? ? ? 67G? 456M? 67G? 1% /ceph_data

/dev/rbd0? ? ? ? ? ? ? ext4? ? ? 4.8G? 20M? 4.6G? 1% /data

掛載rbd后會(huì)自動(dòng)加載模塊libceph.ko

[root@ceph-client1 ~]# lsmod |grep ceph

ceph? ? ? ? ? ? ? ? ? 363016? 1

libceph? ? ? ? ? ? ? 306750? 2 rbd,ceph

dns_resolver? ? ? ? ? 13140? 1 libceph

libcrc32c? ? ? ? ? ? ? 12644? 4 xfs,libceph,nf_nat,nf_conntrack

[root@ceph-client1 ~]# modinfo libceph

filename:? ? ? /lib/modules/3.10.0-1160.el7.x86_64/kernel/net/ceph/libceph.ko.xz

license:? ? ? ? GPL

description:? ? Ceph core library

author:? ? ? ? Patience Warnick patience@newdream.net

author:? ? ? ? Yehuda Sadeh yehuda@hq.newdream.net

author:? ? ? ? Sage Weil sage@newdream.net

retpoline:? ? ? Y

rhelversion:? ? 7.9

srcversion:? ? D4ABB648AE8130ECF90AA3F

depends:? ? ? ? libcrc32c,dns_resolver

intree:? ? ? ? Y

vermagic:? ? ? 3.10.0-1160.el7.x86_64 SMP mod_unload modversions

signer:? ? ? ? CentOS Linux kernel signing key

sig_key:? ? ? ? E1:FD:B0:E2:A7:E8:61:A1:D1:CA:80:A2:3D:CF:0D:BA:3A:A4:AD:F5

sig_hashalgo:? sha256

如果鏡像空間不夠用了，我們可以做鏡像空間的拉伸，一般不建議減小

查看rdb1-data存儲(chǔ)池的鏡像

[root@ceph-client1 ~]# rbd ls -p rbd1-data -l

NAME? ? ? SIZE? PARENT? FMT? PROT? LOCK

data-img1? 3 GiB? ? ? ? ? ? 2? ? ? ? ? ?

data-img2? 5 GiB? ? ? ? ? ? 2?

比如data-img2空間不夠了，需要拉伸，將data-img2擴(kuò)展到8G

[root@ceph-client1 ~]# rbd resize --pool rbd1-data --image data-img2 --size? 8G

Resizing image: 100% complete...done.

可以通過(guò)fdisk -l查看鏡像空間大小，但是通過(guò)df -h就看不到

[root@ceph-client1 ~]# lsblk

NAME? ? ? ? ? ? MAJ:MIN RM? SIZE RO TYPE MOUNTPOINT

sda? ? ? ? ? ? ? 8:0? ? 0? 40G? 0 disk

├─sda1? ? ? ? ? ? 8:1? ? 0? ? 1G? 0 part /boot

└─sda2? ? ? ? ? ? 8:2? ? 0? 39G? 0 part

├─centos-root 253:0? ? 0? 37G? 0 lvm? /

└─centos-swap 253:1? ? 0? ? 2G? 0 lvm? [SWAP]

sr0? ? ? ? ? ? ? 11:0? ? 1 1024M? 0 rom?

rbd0? ? ? ? ? ? 252:0? ? 0? ? 8G? 0 disk /data

[root@ceph-client1 ~]# fdisk -l /dev/rbd0

Disk /dev/rbd0: 8589 MB, 8589934592 bytes, 16777216 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 4194304 bytes / 4194304 bytes

將掛載設(shè)置開(kāi)機(jī)啟動(dòng)

[root@ceph-client1 ~]# vi /etc/rc.d/rc.local

rbd --user huahualin --pool rbd1-data map data-img2

mount /dev/rbd0 /data

[root@ceph-client1 ~]# chmod a+x? /etc/rc.d/rc.local

[root@ceph-client1 ~]# reboot

linux rbd 設(shè)備 底層刪除了，上層怎么刪除

yum remove abc 但是注意了，yum刪掉會(huì)把很多附帶的都刪掉，比如絕對(duì)不能remove python這樣的東西，還有g(shù)cc。這些都是系統(tǒng)的底層，你不要可以不用，或者停掉，一般很少去刪依賴特別多的服務(wù)

rancher2.3.2設(shè)置使用ceph的rbd（筆記）

本人算是使用ceph和rancher的小白，最近因?yàn)槟承┰蜷_(kāi)始研究rancher以及在rancher中使用ceph，查找了好些資料，發(fā)現(xiàn)網(wǎng)上的資料一般是針對(duì)比較懂的人看的，或者是舊版本的rancher，對(duì)我這種小白來(lái)說(shuō)屬于看了一知半解，具體應(yīng)用又是茫然的。不過(guò)好在把各種資料拼湊后，通過(guò)實(shí)驗(yàn)驗(yàn)證成功了，在這里把自己的筆記寫下來(lái)供大家參考。

一、前提：安裝好rancher與ceph，具體方法網(wǎng)上都能搜到，這里略過(guò)，不具體講了。

二、本次實(shí)驗(yàn)版本是rancher2.3.2與ceph( nautilus 14.2.4)

三、1、第一步：密文的建立，這里有個(gè)坑，直接通過(guò)UI建起的密文，ceph filesystem可以用，但ceph rbd不能用。因?yàn)楦鶕?jù)官方的說(shuō)明文檔，要使用rbd，密文的類型必須是kubernetes.io/rbd,可是rancher的UI建立密文是沒(méi)這個(gè)選項(xiàng)的，默認(rèn)是Opaque的，想通過(guò)api或yaml改也不成，UI不認(rèn)。這里必須使用命令的方法來(lái)創(chuàng)建：以下為一個(gè)例子(key值請(qǐng)換為自己的）。

kubectlcreate secret generic ceph-admin-secret-rbd --from-literal=key=' ' --namespace=default--type=kubernetes.io/rbd

使用命令的入口就是rancher集群儀表盤的“執(zhí)行kubectl命令行”

建立密文有2點(diǎn)注意：（1）要給使用密文的每一個(gè)命名空間建立相應(yīng)的密文? （2）命令行中ceph-admin-secret是密文的名稱，key來(lái)源于ceph的/etc/ceph/ceph.client.admin.keyring的KEY原值，K8S里是要求把這個(gè)值轉(zhuǎn)化后用，但rancher2.3.2自己會(huì)去轉(zhuǎn)化，所以這里直接使用原生值。namespace是命名空間，這個(gè)必須事先存在的。type必須是kubernetes.io/rbd

2、第二步，在集群--存儲(chǔ)--存儲(chǔ)類里添加類，如下圖。

3、第三步，建立PVC。到集群-default-工作負(fù)載--PVC，

當(dāng)PVC顯示為Bound狀態(tài)以及出現(xiàn)了大小值，則表示這個(gè)PVC建立成功了。同時(shí)也可以在ceph上看到相應(yīng)的images.

這是在ceph上看的。

參考資料：

ceph相關(guān)命令

Ceph 存儲(chǔ)集群包含兩種類型的守護(hù)進(jìn)程： ? Ceph 監(jiān)視器 ? Ceph OSD 守護(hù)進(jìn)程

RBD是Ceph對(duì)外提供的基于塊的存儲(chǔ)接口

ceph常用命令?

集群狀態(tài)監(jiān)控?

ceph -s #顯示ceph集群狀態(tài)

ceph osd tree #顯示當(dāng)前osd樹(shù)結(jié)構(gòu)?

ceph osd pool ls? 顯示所有資源池

ceph -w #動(dòng)態(tài)顯示ceph當(dāng)前動(dòng)態(tài)，主要可以觀察讀寫流量?

ceph df #集群的數(shù)據(jù)用量及其在存儲(chǔ)池內(nèi)的分布情況?

ceph osd df # 查看所有osd使用情況?

ceph osd perf #顯示各個(gè)osd響應(yīng)時(shí)間，個(gè)別響應(yīng)慢的osd可以考慮踢出集群（慎用）?

設(shè)置pool副本數(shù)

ceph osd pool get pool-name size #查看pool副本數(shù)?

ceph osd pool set pool-name size *** #設(shè)置pool副本數(shù)?

設(shè)置pg和pgp數(shù)（一般pg=pgp）?

ceph osd pool get pool-name pg_num #查看pool pg_num

ceph osd pool set pool-name pg_num *** #設(shè)置pool pg_num?

ceph osd pool get pool-name pgp_num #查看pool pgp_num?

ceph osd pool set pool-name pgp_num *** #設(shè)置pool pgp_num

查看當(dāng)前ceph配置 ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok config show

rbd常用命令

rbd –p pool-name create rbd-name --size 1G #創(chuàng)建?

rbd –p pool-name list #查看pool下所有塊?

rbd –p pool-name info rbd-name #查看塊詳情?

rbd –p pool-name resize --size *G rbd-name #擴(kuò)容大小至*G?

rbd –p pool-name resize –size *G rbd-name --allow-shrink #縮容至*G?

rbd –p pool-name rm rbd-name #刪除?

快照操作?

rbd –p pool-name snap create rbd-name --snap snap-name #創(chuàng)建快照?

rbd –p pool-name snap ls rbd-name #列出卷的所有快照?

rbd –p pool-name snap rollback rbd-name --snap snap-name #回滾快照?

rbd –p pool-name snap rm rbd-name --snap snap-name #刪除快照?

rbd –p pool-name snap protect rbd-name --snap snap-name #保護(hù)快照，此時(shí)無(wú)法刪除

rbd –p pool-name snap unprotect rbd-name --snap snap-name #解除保護(hù)?

rbd –p pool-name import file-name #導(dǎo)入文件?

krbd使用

rbd –p pool-name create rbd-name --size *G –image-feature layering #創(chuàng)建krbd塊

rbd map pool-name/rbd-name #映射到本地?

rbd –p pool-name showmapped #查看映射關(guān)系?

rbd unmap pool-name/rbd-name #解除本地映射

文章題目：linuxrbd命令 linux deb命令
轉(zhuǎn)載源于：http://www.rwnh.cn/article16/hhgsgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、動(dòng)態(tài)網(wǎng)站、企業(yè)建站、做網(wǎng)站、用戶體驗(yàn)、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)