本期目錄
安丘ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景,ssl證書(shū)未來(lái)市場(chǎng)廣闊!成為創(chuàng)新互聯(lián)公司的ssl證書(shū)銷售渠道,可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:18980820575(備注:SSL證書(shū)合作)期待與您的合作!
DB-Engines數(shù)據(jù)庫(kù)排行榜
新聞快訊
一、RDBMS家族
二、NoSQL家族
三、NewSQL家族
四、時(shí)間序列
五、大數(shù)據(jù)生態(tài)圈
六、國(guó)產(chǎn)數(shù)據(jù)庫(kù)概覽
七、云數(shù)據(jù)庫(kù)
八、推出dbaplus Newsletter的想法
九、感謝名單
為方便閱讀、重點(diǎn)呈現(xiàn),本期Newsletter(2019年1月)將對(duì)各個(gè)板塊的內(nèi)容進(jìn)行精簡(jiǎn)。需要閱讀全文的同學(xué)可點(diǎn)擊文末 【閱讀原文】 或登錄
進(jìn)行下載。
DB-Engines數(shù)據(jù)庫(kù)排行榜
以下取自2019年1月的數(shù)據(jù),具體信息可以參考,數(shù)據(jù)僅供參考。
DB-Engines排名的數(shù)據(jù)依據(jù)5個(gè)不同的因素:
新聞快訊
1、2018年9月24日,微軟公布了SQL Server2019預(yù)覽版,SQL Server 2019將結(jié)合Spark創(chuàng)建統(tǒng)一數(shù)據(jù)平臺(tái)。
2、2018年10月5日,ElasticSearch在美國(guó)紐約證券交易所上市。
3、亞馬遜放棄甲骨文數(shù)據(jù)庫(kù)軟件,導(dǎo)致最大倉(cāng)庫(kù)之一在黃金時(shí)段宕機(jī)。受此消息影響,亞馬遜盤(pán)前股價(jià)小幅跳水,跌超2%。
4、2018年10月31日,Percona發(fā)布了Percona Server 8.0 RC版本,發(fā)布對(duì)MongoDB 4.0的支持,發(fā)布對(duì)XtraBackup測(cè)試第二個(gè)版本。
5、2018年10月31日,Gartner陸續(xù)發(fā)布了2018年的數(shù)據(jù)庫(kù)系列報(bào)告,包括《數(shù)據(jù)庫(kù)魔力象限》、《數(shù)據(jù)庫(kù)核心能力》以及《數(shù)據(jù)庫(kù)推薦報(bào)告》。
今年的總上榜數(shù)據(jù)庫(kù)產(chǎn)品達(dá)到了5家,分別來(lái)自:阿里云,華為,巨杉數(shù)據(jù)庫(kù),騰訊云,星環(huán) 科技 。其中阿里云和巨杉數(shù)據(jù)庫(kù)已經(jīng)連續(xù)兩年入選。
6、2018年11月初,Neo4j宣布完成E輪8000萬(wàn)美元融資。11月15日,Neo4j宣布企業(yè)版徹底閉源:
7、2019年1月8日,阿里巴巴以1.033億美元(9000萬(wàn)歐元)的價(jià)格收購(gòu)了Apache Flink商業(yè)公司DataArtisans。
8、2019年1月11日早間消息,亞馬遜宣布推出云數(shù)據(jù)庫(kù)軟件,亞馬遜和MongoDB將會(huì)直接競(jìng)爭(zhēng)。
RDBMS家族
Oracle 發(fā)布18.3版本
2018年7月,Oracle Database 18.3通用版開(kāi)始提供下載。我們可以將Oracle Database 18c視為采用之前發(fā)布模式的Oracle Database 12c第2版的第一個(gè)補(bǔ)丁集。未來(lái),客戶將不再需要等待多年才能用上最新版Oracle數(shù)據(jù)庫(kù),而是每年都可以期待新數(shù)據(jù)庫(kù)特性和增強(qiáng)。Database 19c將于2019年Q1率先在Oracle cloud上發(fā)布云版本。
Oracle Database 18c及19c部分關(guān)鍵功能:
1、性能
2、多租戶,大量功能增強(qiáng)及改進(jìn),大幅節(jié)省成本和提高敏捷性
3、高可用
4、數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)
MySQL發(fā)布8.0.13版本
1、賬戶管理
經(jīng)過(guò)配置,修改密碼時(shí),必須帶上原密碼。在之前的版本,用戶登錄之后,就可以修改自己的密碼。這種方式存在一定安全風(fēng)險(xiǎn)。比如用戶登錄上數(shù)據(jù)庫(kù)后,中途離開(kāi)一段時(shí)間,那么非法用戶可能會(huì)修改密碼。由參數(shù)password_require_current控制。
2、配置
Innodb表必須有主鍵。在用戶沒(méi)有指定主鍵時(shí),系統(tǒng)會(huì)生成一個(gè)默認(rèn)的主鍵。但是在主從復(fù)制的場(chǎng)景下,默認(rèn)的主鍵,會(huì)對(duì)叢庫(kù)應(yīng)用速度帶來(lái)致命的影響。如果設(shè)置sql_require_primary_key,那么數(shù)據(jù)庫(kù)會(huì)強(qiáng)制用戶在創(chuàng)建表、修改表時(shí),加上主鍵。
3、字段默認(rèn)值
BLOB、TEXT、GEOMETRY和JSON字段可以指定默認(rèn)值了。
4、優(yōu)化器
1)Skip Scan
非前綴索引也可以用了。
之前的版本,任何沒(méi)有帶上f1字段的查詢,都沒(méi)法使用索引。在新的版本中,它可以忽略前面的字段,讓這個(gè)查詢使用到索引。其實(shí)現(xiàn)原理就是把(f1 = 1 AND f2 40) 和(f1 = 2 AND f2 40)的查詢結(jié)果合并。
2)函數(shù)索引
之前版本只能基于某個(gè)列或者多個(gè)列加索引,但是不允許在上面做計(jì)算,如今這個(gè)限制消除了。
5、SQL語(yǔ)法
GROUP BY ASC和GROUP BY DESC語(yǔ)法已經(jīng)被廢棄,要想達(dá)到類似的效果,請(qǐng)使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。
6、功能變化
1)設(shè)置用戶變量,請(qǐng)使用SET語(yǔ)句
如下類型語(yǔ)句將要被廢棄SELECT @var, @var:=@var+1。
2)新增innodb_fsync_threshold
該變量是控制文件刷新到磁盤(pán)的速率,防止磁盤(pán)在短時(shí)間內(nèi)飽和。
3)新增會(huì)話級(jí)臨時(shí)表空間
在以往的版本中,當(dāng)執(zhí)行SQL時(shí),產(chǎn)生的臨時(shí)表都在全局表空間ibtmp1中,及時(shí)執(zhí)行結(jié)束,臨時(shí)表被釋放,空間不會(huì)被回收。新版本中,會(huì)為session從臨時(shí)表空間池中分配一個(gè)臨時(shí)表空間,當(dāng)連接斷開(kāi)時(shí),臨時(shí)表空間的磁盤(pán)空間被回收。
4)在線切換Group Replication的狀態(tài)
5)新增了group_replication_member_expel_timeout
之前,如果某個(gè)節(jié)點(diǎn)被懷疑有問(wèn)題,在5秒檢測(cè)期結(jié)束之后,那么就直接被驅(qū)逐出這個(gè)集群。即使該節(jié)點(diǎn)恢復(fù)正常時(shí),也不會(huì)再被加入集群。那么,瞬時(shí)的故障,會(huì)把某些節(jié)點(diǎn)驅(qū)逐出集群。
group_replication_member_expel_timeout讓管理員能更好的依據(jù)自身的場(chǎng)景,做出最合適的配置(建議配置時(shí)間小于一個(gè)小時(shí))。
MariaDB 10.3版本功能展示
1、MariaDB 10.3支持update多表ORDER BY and LIMIT
1)update連表更新,limit語(yǔ)句
update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;
MySQL 8.0直接報(bào)錯(cuò)
MariaDB 10.3更新成功
2)update連表更新,ORDER BY and LIMIT語(yǔ)句
update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;
MySQL 8.0直接報(bào)錯(cuò)
MariaDB 10.3更新成功
參考:
2、MariaDB10.3增補(bǔ)AliSQL補(bǔ)丁——安全執(zhí)行Online DDL
Online DDL從名字上看很容易誤導(dǎo)新手,以為不論什么情況,修改表結(jié)構(gòu)都不會(huì)鎖表,理想很豐滿,現(xiàn)實(shí)很骨感,注意這個(gè)坑!
有以下兩種情況執(zhí)行DDL操作會(huì)鎖表的,Waiting for table metadata lock(元數(shù)據(jù)表鎖):
針對(duì)第二種情況,MariaDB10.3增補(bǔ)AliSQL補(bǔ)丁-DDL FAST FAIL,讓其DDL操作快速失敗。
例:
如果線上有某個(gè)慢SQL對(duì)該表進(jìn)行操作,可以使用WAIT n(以秒為單位設(shè)置等待)或NOWAIT在語(yǔ)句中顯式設(shè)置鎖等待超時(shí),在這種情況下,如果無(wú)法獲取鎖,語(yǔ)句將立即失敗。 WAIT 0相當(dāng)于NOWAIT。
參考:
3、MariaDB Window Functions窗口函數(shù)分組取TOP N記錄
窗口函數(shù)在MariaDB10.2版本里實(shí)現(xiàn),其簡(jiǎn)化了復(fù)雜SQL的撰寫(xiě),提高了可讀性。
參考:
Percona Server發(fā)布8.0 GA版本
2018年12月21日,Percona發(fā)布了Percona Server 8.0 GA版本。
在支持MySQL8.0社區(qū)的基礎(chǔ)版上,Percona Server for MySQL 8.0版本中帶來(lái)了許多新功能:
1、安全性和合規(guī)性
2、性能和可擴(kuò)展性
3、可觀察性和可用性
Percona Server for MySQL 8.0中將要被廢用功能:
Percona Server for MySQL 8.0中刪除的功能:
RocksDB發(fā)布V5.17.2版本
2018年10月24日,RocksDB發(fā)布V5.17.2版本。
RocksDB是Facebook在LevelDB基礎(chǔ)上用C++寫(xiě)的高效內(nèi)嵌式K/V存儲(chǔ)引擎。相比LevelDB,RocksDB提供了Column-Family,TTL,Transaction,Merge等方面的支持。目前MyRocks,TiKV等底層的存儲(chǔ)都是基于RocksDB來(lái)構(gòu)建。
PostgreSQL發(fā)布11版本
2018年10月18日,PostgreSQL 11發(fā)布。
1、PostgreSQL 11的重大增強(qiáng)
2、PostgreSQL 插件動(dòng)態(tài)
1)分布式插件citus發(fā)布 8.1
citus是PostgreSQL的一款sharding插件,目前國(guó)內(nèi)蘇寧、鐵總、探探有較大量使用案例。
2)地理信息插件postgis發(fā)布2.5.1
PostGIS是專業(yè)的時(shí)空數(shù)據(jù)庫(kù)插件,在測(cè)繪、航天、氣象、地震、國(guó)土資源、地圖等時(shí)空專業(yè)領(lǐng)域應(yīng)用廣泛。同時(shí)在互聯(lián)網(wǎng)行業(yè)也得到了對(duì)GIS有性能、功能深度要求的客戶青睞,比如共享出行、外賣(mài)等客戶。
3)時(shí)序插件timescale發(fā)布1.1.1
timescale是PostgreSQL的一款時(shí)序數(shù)據(jù)庫(kù)插件,在IoT行業(yè)中有非常好的應(yīng)用。github star數(shù)目前有5000多,是一個(gè)非?;鸨牟寮?。
4)流計(jì)算插件 pipelinedb 正式插件化
Pipelinedb是PostgreSQL的一款流計(jì)算插件,使用這個(gè)創(chuàng)建可以對(duì)高速寫(xiě)入的數(shù)據(jù)進(jìn)行實(shí)時(shí)根據(jù)定義的聚合規(guī)則進(jìn)行聚合(支持概率計(jì)算),實(shí)時(shí)根據(jù)定義的規(guī)則觸發(fā)事件(支持事件處理函數(shù)的自定義)??捎糜贗oT,監(jiān)控,F(xiàn)EED實(shí)時(shí)計(jì)算等場(chǎng)景。
3、PostgreSQL衍生開(kāi)源產(chǎn)品動(dòng)態(tài)
1)agensgraph發(fā)布 2.0.0版本
agensgraph是兼容PostgreSQL、opencypher的專業(yè)圖數(shù)據(jù)庫(kù),適合圖式關(guān)系的管理。
2)gpdb發(fā)布5.15
gpdb是兼容PostgreSQL的mpp數(shù)據(jù)庫(kù),適合OLAP場(chǎng)景。近兩年,gpdb一直在追趕PostgreSQL的社區(qū)版本,預(yù)計(jì)很快會(huì)追上10的PostgreSQL,在TP方面的性能也會(huì)得到顯著提升。
3)antdb發(fā)布3.2
antdb是以Postgres-XC為基礎(chǔ)開(kāi)發(fā)的一款PostgreSQL sharding數(shù)據(jù)庫(kù),亞信主導(dǎo)開(kāi)發(fā),開(kāi)源,目前主要服務(wù)于亞信自有客戶。
4)遷移工具M(jìn)TK發(fā)布52版本
MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase數(shù)據(jù)庫(kù)遷移到PostgreSQL, PPAS的產(chǎn)品,遷移速度可以達(dá)到100萬(wàn)行/s以上。
DB2發(fā)布 11.1.4.4版本
DB2最新發(fā)布Mod Pack 4 and Fix Pack 4,包含以下幾方面的改動(dòng)及增強(qiáng):
1、性能
2、高可用
3、管理視圖
4、應(yīng)用開(kāi)發(fā)方面
5、聯(lián)邦功能
6、pureScale
NoSQL家族
Redis發(fā)布5.0.3版本
MongoDB升級(jí)更新MongoDB Mobile和MongoDB Stitch
2018年11月21日,MongoDB升級(jí)更新MongoDB Mobile和MongoDB Stitch,助力開(kāi)發(fā)人員提升工作效率。
MongoDB 公司日前發(fā)布了多項(xiàng)新產(chǎn)品功能,旨在更好地幫助開(kāi)發(fā)人員在世界各地管理數(shù)據(jù)。通過(guò)利用存儲(chǔ)在移動(dòng)設(shè)備和后臺(tái)數(shù)據(jù)庫(kù)的數(shù)據(jù)之間的實(shí)時(shí)、自動(dòng)的同步特性,MongoDB Mobile通用版本助力開(kāi)發(fā)人員構(gòu)建更快捷、反應(yīng)更迅速的應(yīng)用程序。此前,這只能通過(guò)在移動(dòng)應(yīng)用內(nèi)部安裝一個(gè)可供選擇或限定功能的數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)。
MongoDB Mobile在為客戶提供隨處運(yùn)行的自由度方面更進(jìn)了一步。用戶在iOS和安卓終端設(shè)備上可擁有MongoDB所有功能,將網(wǎng)絡(luò)邊界擴(kuò)展到其物聯(lián)網(wǎng)資產(chǎn)范疇。應(yīng)用系統(tǒng)還可以使用MongoDB Stitch的軟件開(kāi)發(fā)包訪問(wèn)移動(dòng)客戶端或后臺(tái)數(shù)據(jù),幫助開(kāi)發(fā)人員通過(guò)他們希望的任意方式查詢移動(dòng)終端數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù),包括本地讀寫(xiě)、本地JSON存儲(chǔ)、索引和聚合。通過(guò)Stitch移動(dòng)同步功能(現(xiàn)可提供beta版),用戶可以自動(dòng)對(duì)保存在本地的數(shù)據(jù)以及后臺(tái)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行同步。
本期新秀:Cassandra發(fā)布3.11.3版本
2018年8月11日,Cassandra發(fā)布正式版3.11.3。
Apache Cassandra是一款開(kāi)源分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng),使用了基于Google BigTable的數(shù)據(jù)模型,與面向行(row)的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)或鍵值存儲(chǔ)key-value數(shù)據(jù)庫(kù)不同,Cassandra使用的是寬列存儲(chǔ)模型(Wide Column Stores)。與BigTable和其模仿者HBase不同,數(shù)據(jù)并不存儲(chǔ)在分布式文件系統(tǒng)如GFS或HDFS中,而是直接存于本地。
Cassandra的系統(tǒng)架構(gòu)與Amazon DynamoDB類似,是基于一致性哈希的完全P2P架構(gòu),每行數(shù)據(jù)通過(guò)哈希來(lái)決定應(yīng)該存在哪個(gè)或哪些節(jié)點(diǎn)中。集群沒(méi)有master的概念,所有節(jié)點(diǎn)都是同樣的角色,徹底避免了整個(gè)系統(tǒng)的單點(diǎn)問(wèn)題導(dǎo)致的不穩(wěn)定性,集群間的狀態(tài)同步通過(guò)Gossip協(xié)議來(lái)進(jìn)行P2P的通信。
3.11.3版本的一些bug fix和改進(jìn):
NewSQL家族
TiDB 發(fā)布2.1.2版本
2018 年 12 月 22 日,TiDB 發(fā)布 2.1.2 版,TiDB-Ansible 相應(yīng)發(fā)布 2.1.2 版本。該版本在 2.1.1 版的基礎(chǔ)上,對(duì)系統(tǒng)兼容性、穩(wěn)定性做出了改進(jìn)。
TiDB 是一款定位于在線事務(wù)處理/在線分析處理( HTAP: Hybrid Transactional/Analytical Processing)的融合型數(shù)據(jù)庫(kù)產(chǎn)品。除了底層的 RocksDB 存儲(chǔ)引擎之外,分布式SQL層、分布式KV存儲(chǔ)引擎(TiKV)完全自主設(shè)計(jì)和研發(fā)。
TiDB 完全開(kāi)源,兼容MySQL協(xié)議和語(yǔ)法,可以簡(jiǎn)單理解為一個(gè)可以無(wú)限水平擴(kuò)展的MySQL,并且提供分布式事務(wù)、跨節(jié)點(diǎn) JOIN、吞吐和存儲(chǔ)容量水平擴(kuò)展、故障自恢復(fù)、高可用等優(yōu)異的特性;對(duì)業(yè)務(wù)沒(méi)有任何侵入性,簡(jiǎn)化開(kāi)發(fā),利于維護(hù)和平滑遷移。
TiDB:
PD:
TiKV:
Tools:
1)TiDB-Lightning
2)TiDB-Binlog
EsgynDB發(fā)布R2.5版本
2018年12月22日,EsgynDB R2.5版本正式發(fā)布。
作為企業(yè)級(jí)產(chǎn)品,EsgynDB 2.5向前邁進(jìn)了一大步,它擁有以下功能和改進(jìn):
CockroachDB發(fā)布2.1版本
2018年10月30日,CockroachDB正式發(fā)布2.1版本,其新增特性如下:
新增企業(yè)級(jí)特性:
新增SQL特性:
新增內(nèi)核特性:
Admin UI增強(qiáng):
時(shí)間序列
本期新秀:TimescaleDB發(fā)布1.0版本
10月底,TimescaleDB 1.0宣布正式推出,官方表示該版本已可用于生產(chǎn)環(huán)境,支持完整SQL和擴(kuò)展。
TimescaleDB是基于PostgreSQL數(shù)據(jù)庫(kù)開(kāi)發(fā)的一款時(shí)序數(shù)據(jù)庫(kù),以插件化的形式打包提供,隨著PostgreSQL的版本升級(jí)而升級(jí),不會(huì)因?yàn)榱砹⒎种?lái)麻煩。
TimescaleDB架構(gòu):
數(shù)據(jù)自動(dòng)按時(shí)間和空間分片(chunk)
更新亮點(diǎn):
大數(shù)據(jù)生態(tài)圈
Hadoop發(fā)布2.9.2版本
2018年11月中旬,Hadoop在2.9分支上發(fā)布了新的2.9.2版本,該版本進(jìn)行了204個(gè)大大小小的變更,主要變更如下:
Greenplum 發(fā)布5.15版本
Greenplum最新的5.15版本中發(fā)布了流式數(shù)據(jù)加載工具。
該版本中的Greenplum Streem Server組件已經(jīng)集成了Kafka流式加載功能,并通過(guò)了Confluent官方的集成認(rèn)證,其支持的主要功能如下:
國(guó)產(chǎn)數(shù)據(jù)庫(kù)概覽
K-DB發(fā)布數(shù)據(jù)庫(kù)一體機(jī)版
2018年11月7日,K-DB發(fā)布了數(shù)據(jù)庫(kù)一體機(jī)版。該版本更新情況如下:
OceanBase遷移服務(wù)發(fā)布1.0版本
1月4日,OceanBase 正式發(fā)布OMS遷移服務(wù)1.0版本。
以下內(nèi)容包含 OceanBase 遷移服務(wù)的重要特性和功能:
SequoiaDB發(fā)布3.0.1新版本
1、架構(gòu)
1)完整計(jì)算存儲(chǔ)分離架構(gòu),兼容MySQL協(xié)議、語(yǔ)法
計(jì)算存儲(chǔ)分離體系以松耦合的方式將計(jì)算與存儲(chǔ)層分別部署,通過(guò)標(biāo)準(zhǔn)接口或插件對(duì)各個(gè)模塊和組件進(jìn)行無(wú)縫替換,在計(jì)算層與存儲(chǔ)層均可實(shí)現(xiàn)自由的彈性伸縮。
SequoiaDB巨杉數(shù)據(jù)庫(kù)“計(jì)算-存儲(chǔ)分離”架構(gòu)詳細(xì)示意
用戶可以根據(jù)自身業(yè)務(wù)特征選擇面向交易的SQL解析器(例如MySQL或PGSQL)或面向統(tǒng)計(jì)分析的執(zhí)行引擎(例如SparkSQL)。眾所周知,使用不同的SQL優(yōu)化與執(zhí)行方式,數(shù)據(jù)庫(kù)的訪問(wèn)性能可能會(huì)存在上千上萬(wàn)倍的差距。計(jì)算存儲(chǔ)分離的核心思想便是在數(shù)據(jù)存儲(chǔ)層面進(jìn)行一體化存儲(chǔ),在計(jì)算層面則利用每種執(zhí)行引擎的特點(diǎn)針對(duì)不同業(yè)務(wù)場(chǎng)景進(jìn)行選擇和優(yōu)化,用戶可以在存儲(chǔ)層進(jìn)行邏輯與物理的隔離,將面向高頻交易的前端業(yè)務(wù)與面向高吞吐量的統(tǒng)計(jì)分析使用不同的硬件進(jìn)行存儲(chǔ),確保在多類型數(shù)據(jù)訪問(wèn)時(shí)互不干擾,以真正達(dá)到生產(chǎn)環(huán)境可用的多租戶與HTAP能力。
2、其他更新信息
1)接口變更:
2)主要特性:
云數(shù)據(jù)庫(kù)
本期新秀:騰訊發(fā)布數(shù)據(jù)庫(kù)CynosDB,開(kāi)啟公測(cè)
1、News
1)騰訊云數(shù)據(jù)庫(kù)MySQL2018年重大更新:
2)騰訊云數(shù)據(jù)庫(kù)MongoDB2018年重大更新:
3)騰訊云數(shù)據(jù)庫(kù)Redis/CKV+2018年重大更新:
4)騰訊云數(shù)據(jù)庫(kù)CTSDB2018年重大更新:
2、Redis 4.0集群版商業(yè)化上線
2018年10月,騰訊云數(shù)據(jù)庫(kù)Redis 4.0集群版完成邀測(cè)、公測(cè)、商業(yè)化三個(gè)迭代,在廣州、上海、北京正式全量商業(yè)化上線。
產(chǎn)品特性:
使用場(chǎng)景:
官網(wǎng)文檔:
3、騰訊自研數(shù)據(jù)庫(kù)CynosDB發(fā)布,開(kāi)啟公測(cè)
2018年11月22日,騰訊云召開(kāi)新一代自研數(shù)據(jù)庫(kù)CynosDB發(fā)布會(huì),業(yè)界第一款全面兼容市面上兩大最主流的開(kāi)源數(shù)據(jù)庫(kù)MySQL和PostgreSQL的高性能企業(yè)級(jí)分布式云數(shù)據(jù)庫(kù)。
本期新秀:京東云DRDS發(fā)布1.0版本
12月24日,京東云分布式關(guān)系型數(shù)據(jù)庫(kù)DRDS正式發(fā)布1.0版本。
DRDS是京東云精心自研的數(shù)據(jù)庫(kù)中間件產(chǎn)品,獲得了2018年 ”可信云技術(shù)創(chuàng)新獎(jiǎng)”。DRDS可實(shí)現(xiàn)海量數(shù)據(jù)下的自動(dòng)分庫(kù)分表,具有高性能,分布式,彈性升級(jí),兼容MySQL等優(yōu)點(diǎn),適用于高并發(fā)、大規(guī)模數(shù)據(jù)的在線交易, 歷史 數(shù)據(jù)查詢,自動(dòng)數(shù)據(jù)分片等業(yè)務(wù)場(chǎng)景,歷經(jīng)多次618,雙十一的考驗(yàn),已經(jīng)在京東集團(tuán)內(nèi)大規(guī)模使用。
京東云DRDS產(chǎn)品有以下主要特性
1)自動(dòng)分庫(kù)分表
通過(guò)簡(jiǎn)單的定義即可自動(dòng)實(shí)現(xiàn)分庫(kù)分表,將數(shù)據(jù)實(shí)際存放在多個(gè)MySQL實(shí)例的數(shù)據(jù)庫(kù)中,但呈現(xiàn)給應(yīng)用程序的依舊是一張表,對(duì)業(yè)務(wù)透明,應(yīng)用程序幾乎無(wú)需改動(dòng),實(shí)現(xiàn)了對(duì)數(shù)據(jù)庫(kù)存儲(chǔ)和處理能力的水平擴(kuò)展。
2)分布式架構(gòu)
基于分布式架構(gòu)的集群方案,多個(gè)對(duì)等節(jié)點(diǎn)同時(shí)對(duì)外提供服務(wù),不但可有效規(guī)避服務(wù)的單點(diǎn)故障,而且更加容易擴(kuò)展。
3)超強(qiáng)性能
具有極高的處理能力,雙節(jié)點(diǎn)即可支持?jǐn)?shù)萬(wàn)QPS,滿足用戶超大規(guī)模處理能力的需求。
4)兼容MySQL
兼容絕大部分MySQL語(yǔ)法,包括MySQL語(yǔ)法、數(shù)據(jù)類型、索引、常用函數(shù)、排序、關(guān)聯(lián)等DDL,DML語(yǔ)句,使用成本低。
參考鏈接:
RadonDB發(fā)布1.0.3版本
2018年12月26日,MyNewSQL領(lǐng)域的RadonDB云數(shù)據(jù)庫(kù)發(fā)布1.0.3版本。
推出dbaplus Newsletter的想法
dbaplus Newsletter旨在向廣大技術(shù)愛(ài)好者提供數(shù)據(jù)庫(kù)行業(yè)的最新技術(shù)發(fā)展趨勢(shì),為社區(qū)的技術(shù)發(fā)展提供一個(gè)統(tǒng)一的發(fā)聲平臺(tái)。為此,我們策劃了RDBMS、NoSQL、NewSQL、時(shí)間序列、大數(shù)據(jù)生態(tài)圈、國(guó)產(chǎn)數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)等幾個(gè)版塊。
我們不以商業(yè)宣傳為目的,不接受任何商業(yè)廣告宣傳,嚴(yán)格審查信息源的可信度和準(zhǔn)確性,力爭(zhēng)為大家提供一個(gè)純凈的技術(shù)學(xué)習(xí)環(huán)境,歡迎大家監(jiān)督指正。
至于Newsletter發(fā)布的周期,目前計(jì)劃是每三個(gè)月左右會(huì)做一次跟進(jìn), 下期計(jì)劃時(shí)間是2019年4月14日~4月25日, 如果有相關(guān)的信息提供請(qǐng)發(fā)送至郵箱:newsletter@dbaplus.cn
感謝名單
最后要感謝那些提供寶貴信息和建議的專家朋友,排名不分先后。
往期回顧:
↓↓別忘了點(diǎn)這里下載 2019年1月 完整版Newsletter 哦~
大數(shù)據(jù)技術(shù)體系龐大,包括的知識(shí)較多
1、學(xué)習(xí)大數(shù)據(jù)首先要學(xué)習(xí)Java基礎(chǔ)
Java是大數(shù)據(jù)學(xué)習(xí)需要的編程語(yǔ)言基礎(chǔ),因?yàn)榇髷?shù)據(jù)的開(kāi)發(fā)基于常用的高級(jí)語(yǔ)言。而且不論是學(xué)hadoop,
2、學(xué)習(xí)大數(shù)據(jù)必須學(xué)習(xí)大數(shù)據(jù)核心知識(shí)
Hadoop生態(tài)系統(tǒng);HDFS技術(shù);HBASE技術(shù);Sqoop使用流程;數(shù)據(jù)倉(cāng)庫(kù)工具HIVE;大數(shù)據(jù)離線分析Spark、Python語(yǔ)言;數(shù)據(jù)實(shí)時(shí)分析Storm;消息訂閱分發(fā)系統(tǒng)Kafka等。
3、學(xué)習(xí)大數(shù)據(jù)需要具備的能力
數(shù)學(xué)知識(shí),數(shù)學(xué)知識(shí)是數(shù)據(jù)分析師的基礎(chǔ)知識(shí)。對(duì)于數(shù)據(jù)分析師,了解一些描述統(tǒng)計(jì)相關(guān)的內(nèi)容,需要有一定公式計(jì)算能力,了解常用統(tǒng)計(jì)模型算法。而對(duì)于數(shù)據(jù)挖掘工程師來(lái)說(shuō),各類算法也需要熟練使用,對(duì)數(shù)學(xué)的要求是最高的。
4、學(xué)習(xí)大數(shù)據(jù)可以應(yīng)用的領(lǐng)域
大數(shù)據(jù)技術(shù)可以應(yīng)用在各個(gè)領(lǐng)域,比如公安大數(shù)據(jù)、交通大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、就業(yè)大數(shù)據(jù)、環(huán)境大數(shù)據(jù)、圖像大數(shù)據(jù)、視頻大數(shù)據(jù)等等,應(yīng)用范圍非常廣泛。
大數(shù)據(jù)技術(shù)在如今應(yīng)用非常廣泛,許多想入行學(xué)習(xí)大數(shù)據(jù)培訓(xùn)的童鞋不知從何學(xué)起,從哪兒開(kāi)始學(xué)首先要根據(jù)你的基本情況而定,如果你是零基礎(chǔ)的也不需要擔(dān)心,先從基礎(chǔ)開(kāi)始學(xué)起就好了,接下來(lái)學(xué)習(xí)基礎(chǔ)java開(kāi)始、數(shù)據(jù)結(jié)構(gòu)、關(guān)系型數(shù)據(jù)庫(kù)、linux系統(tǒng)操作,夯實(shí)基礎(chǔ)之后,再進(jìn)入大數(shù)據(jù)的學(xué)習(xí),例如:hadoop離線分析、Storm實(shí)時(shí)計(jì)算、spark內(nèi)存計(jì)算的學(xué)習(xí),以道教育大數(shù)據(jù)課程體系可以如下:
第一階段 WEB 開(kāi)發(fā)基礎(chǔ)
HTML基礎(chǔ)
1、Html基本介紹
2、HTML語(yǔ)法規(guī)范
3、基本標(biāo)簽介紹
4、HTML編輯器/文本文檔/WebStrom/elipse
5、HTML元素和屬性
6、基本的HTML元素
6.1 標(biāo)題
6.2 段落
6.3 樣式和style屬性
6.3 鏈接 a
6.4 圖像 img
6.5 表格 table
6.6 列表 ul/ol/dl
7、 HTML注釋
8、表單介紹
9、Table標(biāo)簽
10、DIV布局介紹
11、HTML列表詳解
HTML布局和Bootstrap
1、 HTML塊元素(block)和行內(nèi)元素(inline)
2、使用div實(shí)現(xiàn)網(wǎng)頁(yè)布局
3、響應(yīng)式WEB設(shè)計(jì)(Responsive Web Design)
4、使用bootstrap實(shí)現(xiàn)響應(yīng)式布局
HTML表單元素
1、HTML表單 form
2、HTML表單元素
3、 HTML input的類型 type
4、 Html input的屬性
CSS基礎(chǔ)
1、CSS簡(jiǎn)介及基本語(yǔ)法
2、在HTML文檔中使用CSS
3、CSS樣式
4、CSS選擇器
5、盒子模型
6、布局及定位
CSS高級(jí)/CSS3
1、尺寸和對(duì)齊
2、分類(clear/cursor/display/float/position/visibility)
3、導(dǎo)航欄
4、圖片庫(kù)
5、圖片透明
6、媒介類型 @media
7、CSS3
8、CSS3動(dòng)畫(huà)效果
JavaScript基礎(chǔ)
1、JavaScript簡(jiǎn)介
2、基本語(yǔ)法規(guī)則
3、在HTML文檔中使用JS
4、JS變量
5、JS數(shù)據(jù)類型
6、JS函數(shù)
7、JS運(yùn)算符
8、流程控制
9、JS錯(cuò)誤和調(diào)試
JavaScript對(duì)象和作用域
1、數(shù)字 Number
2、字符串String
3、日期 Date
4、數(shù)組
5、數(shù)學(xué) Math
6、DOM對(duì)象和事件
7、BOM對(duì)象
8、Window對(duì)象
9、作用域和作用域鏈
10、JSON
Javascript庫(kù)
1、Jquery
2、Prototype
3、Ext Js
Jquery
1、Jquery基本語(yǔ)法
2、Jquery選擇器
3、Jquery事件
4、Jquery選擇器
5、Jquery效果和動(dòng)畫(huà)
6、使用Jquery操作HTML和DOM
7、Jquery遍歷
8、Jquery封裝函數(shù)
9、Jquery案例
表單驗(yàn)證和Jquery Validate
1、用Js對(duì)HTML表單進(jìn)行驗(yàn)證
2、Jquery Validata基本用法
3、默認(rèn)校驗(yàn)規(guī)則和提示信息
4、debug和ignore
5、更改錯(cuò)誤信息顯示位置和樣式
6、全部校驗(yàn)通過(guò)后的執(zhí)行函數(shù)
7、修改驗(yàn)證觸發(fā)方式
8、異步驗(yàn)證
9、自定義校驗(yàn)方法
10、radio 和 checkbox、select 的驗(yàn)證
Java基礎(chǔ)
1、關(guān)于Java
2、Java運(yùn)行機(jī)制
3、第一個(gè)Java程序,注釋
4、Javac,Java,Javadoc等命令
5、標(biāo)識(shí)符與關(guān)鍵字
6、變量的聲明,初始化與應(yīng)用
7、變量的作用域
8、變量重名
9、基本數(shù)據(jù)類型
10、類型轉(zhuǎn)換與類型提升
11、各種數(shù)據(jù)類型使用細(xì)節(jié)
12、轉(zhuǎn)義序列
13、各種運(yùn)算符的使用
流程控制
1、選擇控制語(yǔ)句if-else
2、選擇控制語(yǔ)句switch-case
3、循環(huán)控制語(yǔ)句while
4、循環(huán)控制語(yǔ)句do-while
5、循環(huán)控制語(yǔ)句for與增強(qiáng)型for
6、break,continue,return
7、循環(huán)標(biāo)簽
8、數(shù)組的聲明與初始化
9、數(shù)組內(nèi)存空間分配
10、棧與堆內(nèi)存
11、二維(多維)數(shù)組
12、Arrays類的相關(guān)方法
13、main方法命令行參數(shù)
面向?qū)ο?/p>
1、面向?qū)ο蟮幕舅枷?/p>
2、類與對(duì)象
3、成員變量與默認(rèn)值
4、方法的聲明,調(diào)用
5、參數(shù)傳遞和內(nèi)存圖
6、方法重載的概念
7、調(diào)用原則與重載的優(yōu)勢(shì)
8、構(gòu)造器聲明與默認(rèn)構(gòu)造器
9、構(gòu)造器重載
10、this關(guān)鍵字的使用
11、this調(diào)用構(gòu)造器原則
12、實(shí)例變量初始化方式
13、可變參數(shù)方法
訪問(wèn)權(quán)限控制
1、包 package和庫(kù)
2、訪問(wèn)權(quán)限修飾符private/protected/public/包訪問(wèn)權(quán)限
3、類的訪問(wèn)權(quán)限
4、抽象類和抽象方法
5、接口和實(shí)現(xiàn)
6、解耦
7、Java的多重繼承
8、通過(guò)繼承來(lái)擴(kuò)展接口
錯(cuò)誤和異常處理
1、概念:錯(cuò)誤和異常
2、基本異常
3、捕獲異常 catch
4、創(chuàng)建自定義異常
5、捕獲所有異常
6、Java標(biāo)準(zhǔn)異常
7、使用finally進(jìn)行清理
8、異常的限制
9、構(gòu)造器
10、異常匹配
11、異常使用指南
數(shù)據(jù)庫(kù)基礎(chǔ)(MySQL)
數(shù)據(jù)庫(kù)基礎(chǔ)(MySQL)
JDBC
1、Jdbc基本概念
2、使用Jdbc連接數(shù)據(jù)庫(kù)
3、使用Jdbc進(jìn)行crud操作
4、使用Jdbc進(jìn)行多表操作
5、Jdbc驅(qū)動(dòng)類型
6、Jdbc異常和批量處理
7、Jdbc儲(chǔ)存過(guò)程
Servlet和JSP
1、Servlet簡(jiǎn)介
2、Request對(duì)象
3、Response對(duì)象
4、轉(zhuǎn)發(fā)和重定向
5、使用Servlet完成Crud
6、Session和Coolie簡(jiǎn)介
7、ServletContext和Jsp
8、El和Jstl的使用
Ajax
1、什么是Ajax
2、XMLHttpRequest對(duì)象(XHR)
3、XHR請(qǐng)求
4、XHR響應(yīng)
5、readystate/onreadystatechange
6、Jquery Ajax
7、JSON
8、案例:對(duì)用戶名是否可用進(jìn)行服務(wù)器端校驗(yàn)
綜合案例
1、項(xiàng)目開(kāi)發(fā)一般流程介紹
2、模塊化和分層
3、DButils
4、QueryRunner
5、ResultSetHandle
6、案例:用戶登錄/注冊(cè),從前端到后端
第二階段 Java SE
訪問(wèn)權(quán)限和繼承
1、包的聲明與使用
2、import與import static
3、訪問(wèn)權(quán)限修飾符
4、類的封裝性
5、static(靜態(tài)成員變量)
6、final(修飾變量,方法)
7、靜態(tài)成員變量初始化方式
8、類的繼承與成員繼承
9、super的使用
10、調(diào)用父類構(gòu)造器
11、方法的重寫(xiě)與變量隱藏
12、繼承實(shí)現(xiàn)多態(tài)和類型轉(zhuǎn)換
13、instanceof
抽象類與接口
1、抽象類
2、抽象方法
3、繼承抽象類
4、抽象類與多態(tài)
5、接口的成員
6、靜態(tài)方法與默認(rèn)方法
7、靜態(tài)成員類
8、實(shí)例成員類
9、局部類
10、匿名類
11、eclipse的使用與調(diào)試
12、內(nèi)部類對(duì)外圍類的訪問(wèn)關(guān)系
13、內(nèi)部類的命名
Lambda表達(dá)式與常用類
1、函數(shù)式接口
2、Lambda表達(dá)式概念
3、Lambda表達(dá)式應(yīng)用場(chǎng)合
4、使用案例
5、方法引用
6、枚舉類型(編譯器的處理)
7、包裝類型(自動(dòng)拆箱與封箱)
8、String方法
9、常量池機(jī)制
10、String講解
11、StringBuilder講解
12、Math,Date使用
13、Calendars使用
異常處理與泛型
1、異常分類
2、try-catch-finally
3、try-with-resources
4、多重捕獲multi-catch
5、throw與throws
6、自定義異常和優(yōu)勢(shì)
7、泛型背景與優(yōu)勢(shì)
8、參數(shù)化類型與原生類型
9、類型推斷
10、參數(shù)化類型與數(shù)組的差異
11、類型通配符
12、自定義泛型類和類型擦出
13、泛型方法重載與重寫(xiě)
集合
1 、常用數(shù)據(jù)結(jié)構(gòu)
2 、Collection接口
3 、List與Set接口
4 、SortedSet與NavigableSet
5 、相關(guān)接口的實(shí)現(xiàn)類
6 、Comparable與Comparator
7、Queue接口
8 、Deque接口
9 、Map接口
10、NavigableMap
11、相關(guān)接口的實(shí)現(xiàn)類
12、流操作(聚合操作)
13、Collections類的使用
I/O流與反射
1 、File類的使用
2 、字節(jié)流
3 、字符流
4 、緩存流
5 、轉(zhuǎn)換流
6 、數(shù)據(jù)流
7、對(duì)象流
8、類加載,鏈接與初始化
9 、ClassLoader的使用
10、Class類的使用
11、通過(guò)反射調(diào)用構(gòu)造器
12、安全管理器
網(wǎng)絡(luò)編程模型與多線程
1、進(jìn)程與線程
2、創(chuàng)建線程的方式
3、線程的相關(guān)方法
4、線程同步
5、線程死鎖
6、線程協(xié)作操作
7、計(jì)算機(jī)網(wǎng)絡(luò)(IP與端口)
8、TCP協(xié)議與UDP協(xié)議
9、URL的相關(guān)方法
10、訪問(wèn)網(wǎng)絡(luò)資源
11、TCP協(xié)議通訊
12、UDP協(xié)議通訊
13、廣播
SSM-Spring
1.Spring/Spring MVC
2.創(chuàng)建Spring MVC項(xiàng)目
3.Spring MVC執(zhí)行流程和參數(shù)
SSM-Spring.IOC
1.Spring/Spring MVC
2.創(chuàng)建Spring MVC項(xiàng)目
3.Spring MVC執(zhí)行流程和參數(shù)
SSM-Spring.AOP
1.Spring/Spring MVC
2.創(chuàng)建Spring MVC項(xiàng)目
3.Spring MVC執(zhí)行流程和參數(shù)
SSM-Spring.Mybatis
1.MyBatis簡(jiǎn)介
2.MyBatis配置文件
3.用MyBatis完成CRUD
4.ResultMap的使用
5.MyBatis關(guān)聯(lián)查詢
6.動(dòng)態(tài)SQL
7.MyBatis緩沖
8.MyBatis-Generator
Socket編程
1.網(wǎng)絡(luò)通信和協(xié)議
2.關(guān)于Socket
3.Java Socket
4.Socket類型
5.Socket函數(shù)
6.WebSocket
7.WebSocket/Spring MVC/WebSocket Ajax
IO/異步
window對(duì)象
全局作用域
窗口關(guān)系及框架
窗口位置和大小
打開(kāi)窗口
間歇調(diào)用和超時(shí)調(diào)用(靈活運(yùn)用)
系統(tǒng)對(duì)話框
location對(duì)象
navigator對(duì)象
screen對(duì)象
history對(duì)象
NIO/AIO
1.網(wǎng)絡(luò)編程模型
2.BIO/NIO/AIO
3.同步阻塞
4.同步非阻塞
5.異步阻塞
6.異步非阻塞
7.NIO與AIO基本操作
8.高性能IO設(shè)計(jì)模式
第三階段 Java 主流框架
MyBatis
1.mybatis框架原理分析
2.mybatis框架入門(mén)程序編寫(xiě)
3.mybatis和hibernate的本質(zhì)區(qū)別和應(yīng)用場(chǎng)景
4.mybatis開(kāi)發(fā)dao方法
5.SqlMapConfig配置文件講解
6.輸入映射-pojo包裝類型的定義與實(shí)現(xiàn)
7.輸出映射-resultType、resultMap
8.動(dòng)態(tài)sql
9.訂單商品數(shù)據(jù)模型分析
10.高級(jí)映射的使用
11.查詢緩存之一級(jí)緩存、二級(jí)緩存
12.mybatis與spring整合
13. mybatis逆向工程自動(dòng)生成代碼
Spring/Spring MVC
1. springmvc架構(gòu)介紹
2. springmvc入門(mén)程序
3. spring與mybatis整合
4. springmvc注解開(kāi)發(fā)—商品修改功能分析
5. springmvc注解開(kāi)發(fā)—RequestMapping注解
6. springmvc注解開(kāi)發(fā)—Controller方法返回值
7. springmvc注解開(kāi)發(fā)—springmvc參數(shù)綁定過(guò)程分析
8. springmvc注解開(kāi)發(fā)—springmvc參數(shù)綁定實(shí)例講解
9. springmvc與struts2的區(qū)別
10. springmvc異常處理
11. springmvc上傳圖片
12. springmvc實(shí)現(xiàn)json交互
13. springmvc對(duì)RESTful支持
14. springmvc攔截器
第四階段 關(guān)系型數(shù)據(jù)庫(kù)/MySQL/NoSQL
SQL基礎(chǔ)
1.SQL及主流產(chǎn)品
2.MySQL的下載與安裝(sinux/windows)
3.MySql的基本配置/配置文件
4.基本的SQL操作 DDL
5.基本的SQL操作 DML
6.基本的SQL操作 DCL
7.MySQL客戶端工具
8.MySQL幫助文檔
MySQL數(shù)據(jù)類型和運(yùn)算符
1 數(shù)值類型
2 日期時(shí)間類型
3 字符串類型
4 CHAR 和 VARCHAR 類型
5 BINARY 和 VARBINARY 類型
6 ENUM 類型
7 SET 類型
8 算術(shù)運(yùn)算符
9 比較運(yùn)算符
10 邏輯運(yùn)算符
11 位運(yùn)算
12 運(yùn)算符的優(yōu)先級(jí)
MySQL函數(shù)
1 字符串函數(shù)
2 數(shù)值函數(shù)
3 日期和時(shí)間函數(shù)
4 流程函數(shù)
5 其他常用函數(shù)
MySQL存儲(chǔ)引擎
1.MySQL支持的存儲(chǔ)引擎及其特性
2.MyISAM
3.InnoDB
4.選擇合適的存儲(chǔ)引擎
選擇合適的數(shù)據(jù)類型
1 CHAR 與 VARCHAR
2 TEXT 與 BLOB
3 浮點(diǎn)數(shù)與定點(diǎn)數(shù)
4 日期類型選擇
字符集
1 字符集概述
2 Unicode字符集
3 漢字及一些常見(jiàn)字符集
4 選擇合適的字符集
5 MySQL 支持的字符集
6 MySQL 字符集的設(shè)置 .
索引的設(shè)計(jì)和使用
1.什么是索引
2.索引的類型
3.索引的數(shù)據(jù)結(jié)構(gòu) BTree B+Tree Hash
4.索引的存儲(chǔ)
5.MySQL索引
6.查看索引的使用情況
7.索引設(shè)計(jì)原則
視圖/存儲(chǔ)過(guò)程/函數(shù)/觸發(fā)器
1. 什么是視圖
2. 視圖操作
3. 什么是存儲(chǔ)過(guò)程
4. 存儲(chǔ)過(guò)程操作
5. 什么是函數(shù)
6. 函數(shù)的相關(guān)操作
7. 觸發(fā)器
事務(wù)控制/鎖
1. 什么是事務(wù)
2. 事務(wù)控制
3. 分布式事務(wù)
4. 鎖/表鎖/行鎖
5. InnoDB 行鎖爭(zhēng)用
6. InnoDB 的行鎖模式及加鎖方法7
7 InnoDB 行鎖實(shí)現(xiàn)方式7
8 間隙鎖(Next-Key 鎖)
9 恢復(fù)和復(fù)制的需要,對(duì) InnoDB 鎖機(jī)制的影響
10 InnoDB 在不同隔離級(jí)別下的一致性讀及鎖的差異
11 表鎖
12 死鎖
SQL Mode和安全問(wèn)題
1. 關(guān)于SQL Mode
2. MySQL中的SQL Mode
3. SQL Mode和遷移
4. SQL 注入
5. 開(kāi)發(fā)過(guò)程中如何避免SQL注入
SQL優(yōu)化
1.通過(guò) show status 命令了解各種 SQL 的執(zhí)行頻率
2. 定位執(zhí)行效率較低的 SQL 語(yǔ)句
3. 通過(guò) EXPLAIN 分析低效 SQL 的執(zhí)行計(jì)劃
4. 確定問(wèn)題并采取相應(yīng)的優(yōu)化措施
5. 索引問(wèn)題
6.定期分析表和檢查表
7.定期優(yōu)化表
8.常用 SQL 的優(yōu)化
MySQL數(shù)據(jù)庫(kù)對(duì)象優(yōu)化
1. 優(yōu)化表的數(shù)據(jù)類型
2 散列化
3 逆規(guī)范化
4 使用中間表提高統(tǒng)計(jì)查詢速度
5. 影響MySQL性能的重要參數(shù)
6. 磁盤(pán)I/O對(duì)MySQL性能的影響
7. 使用連接池
8. 減少M(fèi)ySQL連接次數(shù)
9. MySQL負(fù)載均衡
MySQL集群
MySQL管理和維護(hù)
MemCache
Redis
在Java項(xiàng)目中使用MemCache和Redis
第五階段:操作系統(tǒng)/Linux、云架構(gòu)
Linux安裝與配置
1、安裝Linux至硬盤(pán)
2、獲取信息和搜索應(yīng)用程序
3、進(jìn)階:修復(fù)受損的Grub
4、關(guān)于超級(jí)用戶root
5、依賴發(fā)行版本的系統(tǒng)管理工具
6、關(guān)于硬件驅(qū)動(dòng)程序
7、進(jìn)階:配置Grub
系統(tǒng)管理與目錄管理
1、Shell基本命令
2、使用命令行補(bǔ)全和通配符
3、find命令、locate命令
4、查找特定程序:whereis
5、Linux文件系統(tǒng)的架構(gòu)
6、移動(dòng)、復(fù)制和刪除
7、文件和目錄的權(quán)限
8、文件類型與輸入輸出
9、vmware介紹與安裝使用
10、網(wǎng)絡(luò)管理、分區(qū)掛載
用戶與用戶組管理
1、軟件包管理
2、磁盤(pán)管理
3、高級(jí)硬盤(pán)管理RAID和LVM
4、進(jìn)階:備份你的工作和系統(tǒng)
5、用戶與用戶組基礎(chǔ)
6、管理、查看、切換用戶
7、/etc/...文件
8、進(jìn)程管理
9、linux VI編輯器,awk,cut,grep,sed,find,unique等
Shell編程
1、 SHELL變量
2、傳遞參數(shù)
3、數(shù)組與運(yùn)算符
4、SHELL的各類命令
5、SHELL流程控制
6、SHELL函數(shù)
7、SHELL輸入/輸出重定向
8、SHELL文件包含
服務(wù)器配置
1、系統(tǒng)引導(dǎo)
2、管理守護(hù)進(jìn)程
3、通過(guò)xinetd啟動(dòng)SSH服務(wù)
4、配置inetd
5、Tomcat安裝與配置
6、MySql安裝與配置
7、部署項(xiàng)目到Linux
第六階段:Hadoop生態(tài)系統(tǒng)
Hadoop基礎(chǔ)
1、大數(shù)據(jù)概論
2、 Google與Hadoop模塊
3、Hadoop生態(tài)系統(tǒng)
4、Hadoop常用項(xiàng)目介紹
5、Hadoop環(huán)境安裝配置
6、Hadoop安裝模式
7、Hadoop配置文件
HDFS分布式文件系統(tǒng)
1、認(rèn)識(shí)HDFS及其HDFS架構(gòu)
2、Hadoop的RPC機(jī)制
3、HDFS的HA機(jī)制
4、HDFS的Federation機(jī)制
5、 Hadoop文件系統(tǒng)的訪問(wèn)
6、JavaAPI接口與維護(hù)HDFS
7、HDFS權(quán)限管理
8、hadoop偽分布式
Hadoop文件I/O詳解
1、Hadoop文件的數(shù)據(jù)結(jié)構(gòu)
2、 HDFS數(shù)據(jù)完整性
3、文件序列化
4、Hadoop的Writable類型
5、Hadoop支持的壓縮格式
6、Hadoop中編碼器和解碼器
7、 gzip、LZO和Snappy比較
8、HDFS使用shell+Java API
MapReduce工作原理
1、MapReduce函數(shù)式編程概念
2、 MapReduce框架結(jié)構(gòu)
3、MapReduce運(yùn)行原理
4、Shuffle階段和Sort階段
5、任務(wù)的執(zhí)行與作業(yè)調(diào)度器
6、自定義Hadoop調(diào)度器
7、 異步編程模型
8、YARN架構(gòu)及其工作流程
MapReduce編程
1、WordCount案例分析
2、輸入格式與輸出格式
3、壓縮格式與MapReduce優(yōu)化
4、輔助類與Streaming接口
5、MapReduce二次排序
6、MapReduce中的Join算法
7、從MySQL讀寫(xiě)數(shù)據(jù)
8、Hadoop系統(tǒng)調(diào)優(yōu)
Hive數(shù)據(jù)倉(cāng)庫(kù)工具
1、Hive工作原理、類型及特點(diǎn)
2、Hive架構(gòu)及其文件格式
3、Hive操作及Hive復(fù)合類型
4、Hive的JOIN詳解
5、Hive優(yōu)化策略
6、Hive內(nèi)置操作符與函數(shù)
7、Hive用戶自定義函數(shù)接口
8、Hive的權(quán)限控制
Hive深入解讀
1 、安裝部署Sqoop
2、Sqoop數(shù)據(jù)遷移
3、Sqoop使用案例
4、深入了解數(shù)據(jù)庫(kù)導(dǎo)入
5、導(dǎo)出與事務(wù)
6、導(dǎo)出與SequenceFile
7、Azkaban執(zhí)行工作流
Sqoop與Oozie
1 、安裝部署Sqoop
2、Sqoop數(shù)據(jù)遷移
3、Sqoop使用案例
4、深入了解數(shù)據(jù)庫(kù)導(dǎo)入
5、導(dǎo)出與事務(wù)
6、導(dǎo)出與SequenceFile
7、Azkaban執(zhí)行工作流
Zookeeper詳解
1、Zookeeper簡(jiǎn)介
2、Zookeeper的下載和部署
3、Zookeeper的配置與運(yùn)行
4、Zookeeper的本地模式實(shí)例
5、Zookeeper的數(shù)據(jù)模型
6、Zookeeper命令行操作范例
7、storm在Zookeeper目錄結(jié)構(gòu)
NoSQL、HBase
1、HBase的特點(diǎn)
2、HBase訪問(wèn)接口
3、HBase存儲(chǔ)結(jié)構(gòu)與格式
4、HBase設(shè)計(jì)
5、關(guān)鍵算法和流程
6、HBase安裝
7、HBase的SHELL操作
8、HBase集群搭建
第七階段:Spark生態(tài)系統(tǒng)
Spark
1.什么是Spark
2.Spark大數(shù)據(jù)處理框架
3.Spark的特點(diǎn)與應(yīng)用場(chǎng)景
4.Spark SQL原理和實(shí)踐
5.Spark Streaming原理和實(shí)踐
6.GraphX SparkR入門(mén)
7.Spark的監(jiān)控和調(diào)優(yōu)
Spark部署和運(yùn)行
1.WordCount準(zhǔn)備開(kāi)發(fā)環(huán)境
2.MapReduce編程接口體系結(jié)構(gòu)
3.MapReduce通信協(xié)議
4.導(dǎo)入Hadoop的JAR文件
5.MapReduce代碼的實(shí)現(xiàn)
6.打包、部署和運(yùn)行
7.打包成JAR文件
Spark程序開(kāi)發(fā)
1、啟動(dòng)Spark Shell
2、加載text文件
3、RDD操作及其應(yīng)用
4、RDD緩存
5、構(gòu)建Eclipse開(kāi)發(fā)環(huán)境
6、構(gòu)建IntelliJ IDEA開(kāi)發(fā)環(huán)境
7、創(chuàng)建SparkContext對(duì)象
8、編寫(xiě)編譯并提交應(yīng)用程序
Spark編程模型
1、RDD特征與依賴
2、集合(數(shù)組)創(chuàng)建RDD
3、存儲(chǔ)創(chuàng)建RDD
4、RDD轉(zhuǎn)換 執(zhí)行 控制操作
5、廣播變量
6、累加器
作業(yè)執(zhí)行解析
1、Spark組件
2、RDD視圖與DAG圖
3、基于Standalone模式的Spark架構(gòu)
4、基于YARN模式的Spark架構(gòu)
5、作業(yè)事件流和調(diào)度分析
6、構(gòu)建應(yīng)用程序運(yùn)行時(shí)環(huán)境
7、應(yīng)用程序轉(zhuǎn)換成DAG
Spark SQL與DataFrame
1、Spark SQL架構(gòu)特性
2、DataFrame和RDD的區(qū)別
3、創(chuàng)建操作DataFrame
4、RDD轉(zhuǎn)化為DataFrame
5、加載保存操作與Hive表
6、Parquet文件JSON數(shù)據(jù)集
7、分布式的SQL Engine
8、性能調(diào)優(yōu) 數(shù)據(jù)類型
深入Spark Streaming
1、Spark Streaming工作原理
2、DStream編程模型
3、Input DStream
4、DStream轉(zhuǎn)換 狀態(tài) 輸出
5、優(yōu)化運(yùn)行時(shí)間及內(nèi)存使用
6、文件輸入源
7、基于Receiver的輸入源
8、輸出操作
Spark MLlib與機(jī)器學(xué)習(xí)
1、機(jī)器學(xué)習(xí)分類級(jí)算法
2、Spark MLlib庫(kù)
3、MLlib數(shù)據(jù)類型
4、MLlib的算法庫(kù)與實(shí)例
5、ML庫(kù)主要概念
6、算法庫(kù)與實(shí)例
GraphX與SparkR
1、Spark GraphX架構(gòu)
2、GraphX編程與常用圖算法
3、GraphX應(yīng)用場(chǎng)景
4、SparkR的工作原理
5、R語(yǔ)言與其他語(yǔ)言的通信
6、SparkR的運(yùn)行與應(yīng)用
7、R的DataFrame操作方法
8、SparkR的DataFrame
Scala編程開(kāi)發(fā)
1、Scala語(yǔ)法基礎(chǔ)
2、idea工具安裝
3、maven工具配置
4、條件結(jié)構(gòu)、循環(huán)、高級(jí)for循環(huán)
5、數(shù)組、映射、元組
6、類、樣例類、對(duì)象、伴生對(duì)象
7、高階函數(shù)與函數(shù)式編程
Scala進(jìn)階
1、 柯里化、閉包
2、模式匹配、偏函數(shù)
3、類型參數(shù)
4、協(xié)變與逆變
5、隱式轉(zhuǎn)換、隱式參數(shù)、隱式值
6、Actor機(jī)制
7、高級(jí)項(xiàng)目案例
Python編程
1、Python編程介紹
2、Python的基本語(yǔ)法
3、Python開(kāi)發(fā)環(huán)境搭建
4、Pyhton開(kāi)發(fā)Spark應(yīng)用程序
第八階段:Storm生態(tài)系統(tǒng)
storm簡(jiǎn)介與基本知識(shí)
1、storm的誕生誕生與成長(zhǎng)
2、storm的優(yōu)勢(shì)與應(yīng)用
3、storm基本知識(shí)概念和配置
4、序列化與容錯(cuò)機(jī)制
5、可靠性機(jī)制—保證消息處理
6、storm開(kāi)發(fā)環(huán)境與生產(chǎn)環(huán)境
7、storm拓?fù)涞牟⑿卸?/p>
8、storm命令行客戶端
Storm拓?fù)渑c組件詳解
1、流分組和拓?fù)溥\(yùn)行
2、拓?fù)涞某R?jiàn)模式
3、本地模式與stormsub的對(duì)比
4、 使用非jvm語(yǔ)言操作storm
5、hook、組件基本接口
6、基本抽象類
7、事務(wù)接口
8、組件之間的相互關(guān)系
spout詳解 與bolt詳解
1、spout獲取數(shù)據(jù)的方式
2、常用的spout
3、學(xué)習(xí)編寫(xiě)spout類
4、bolt概述
5、可靠的與不可靠的bolt
6、復(fù)合流與復(fù)合anchoring
7、 使用其他語(yǔ)言定義bolt
8、學(xué)習(xí)編寫(xiě)bolt類
storm安裝與集群搭建
1、storm集群安裝步驟與準(zhǔn)備
2、本地模式storm配置命令
3、配置hosts文件、安裝jdk
4、zookeeper集群的搭建
5、部署節(jié)點(diǎn)
6、storm集群的搭建
7、zookeeper應(yīng)用案例
8、Hadoop高可用集群搭建
Kafka
1、Kafka介紹和安裝
2、整合Flume
3、Kafka API
4、Kafka底層實(shí)現(xiàn)原理
5、Kafka的消息處理機(jī)制
6、數(shù)據(jù)傳輸?shù)氖聞?wù)定義
7、Kafka的存儲(chǔ)策略
Flume
1、Flume介紹和安裝
2、Flume Source講解
3、Flume Channel講解
4、Flume Sink講解
5、flume部署種類、流配置
6、單一代理、多代理說(shuō)明
7、flume selector相關(guān)配置
Redis
1、Redis介紹和安裝、配置
2、Redis數(shù)據(jù)類型
3、Redis鍵、字符串、哈希
4、Redis列表與集合
5、Redis事務(wù)和腳本
6、Redis數(shù)據(jù)備份與恢復(fù)
7、Redis的SHELL操作
sqlserver 和oracle是不可以直接相互連接的.
必須使用第三驅(qū)動(dòng)來(lái)建立連接,通常是odbc橋連接來(lái)處理.
使用odbc后,理論上說(shuō),任意數(shù)據(jù)庫(kù)(非nosql)都可以相互連接訪問(wèn)查詢.
通常數(shù)據(jù)庫(kù)分為關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù),關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)勢(shì)到現(xiàn)在也是無(wú)可替代的,比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比較小型的Access等等數(shù)據(jù)庫(kù),這些數(shù)據(jù)庫(kù)支持復(fù)雜的SQL操作和事務(wù)機(jī)制,適合小量數(shù)據(jù)讀寫(xiě)場(chǎng)景;但是到了大數(shù)據(jù)時(shí)代,人們更多的數(shù)據(jù)和物聯(lián)網(wǎng)加入的數(shù)據(jù)已經(jīng)超出了關(guān)系數(shù)據(jù)庫(kù)的承載范圍。
大數(shù)據(jù)時(shí)代初期,隨著數(shù)據(jù)請(qǐng)求并發(fā)量大不斷增大,一般都是采用的集群同步數(shù)據(jù)的方式處理,就是將數(shù)據(jù)庫(kù)分成了很多的小庫(kù),每個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)內(nèi)容是不變的,都是保存了源數(shù)據(jù)庫(kù)的數(shù)據(jù)副本,通過(guò)同步或者異步方式保證數(shù)據(jù)的一致性,每個(gè)庫(kù)設(shè)定特定的讀寫(xiě)方式,比如主數(shù)據(jù)庫(kù)負(fù)責(zé)寫(xiě)操作,從數(shù)據(jù)庫(kù)是負(fù)責(zé)讀操作,等等根據(jù)業(yè)務(wù)復(fù)雜程度以此類推,將業(yè)務(wù)在物理層面上進(jìn)行了分離,但是這種方式依舊存在一定的負(fù)載壓力的問(wèn)題,企業(yè)數(shù)據(jù)在不斷的擴(kuò)增中,后面就采用分庫(kù)分表的方式解決,對(duì)讀寫(xiě)負(fù)載進(jìn)行分離,但是這種實(shí)現(xiàn)依舊存在不足,且需要不斷進(jìn)行數(shù)據(jù)庫(kù)服務(wù)器擴(kuò)容。
NoSQL數(shù)據(jù)庫(kù)大致分為5種類型
1、列族數(shù)據(jù)庫(kù):BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等,下面簡(jiǎn)單介紹幾個(gè)
(1)Cassandra:Cassandra是一個(gè)列存儲(chǔ)數(shù)據(jù)庫(kù),支持跨數(shù)據(jù)中心的數(shù)據(jù)復(fù)制。它的數(shù)據(jù)模型提供列索引,log-structured修改,支持反規(guī)范化,實(shí)體化視圖和嵌入超高速緩存。
(2)HBase:Apache Hbase源于Google的Bigtable,是一個(gè)開(kāi)源、分布式、面向列存儲(chǔ)的模型。在Hadoop和HDFS之上提供了像Bigtable一樣的功能。
(3)Amazon SimpleDB:Amazon SimpleDB是一個(gè)非關(guān)系型數(shù)據(jù)存儲(chǔ),它卸下數(shù)據(jù)庫(kù)管理的工作。開(kāi)發(fā)者使用Web服務(wù)請(qǐng)求存儲(chǔ)和查詢數(shù)據(jù)項(xiàng)
(4)Apache Accumulo:Apache Accumulo的有序的、分布式鍵值數(shù)據(jù)存儲(chǔ),基于Google的BigTable設(shè)計(jì),建立在Apache Hadoop、Zookeeper和Thrift技術(shù)之上。
(5)Hypertable:Hypertable是一個(gè)開(kāi)源、可擴(kuò)展的數(shù)據(jù)庫(kù),模仿Bigtable,支持分片。
(6)Azure Tables:Windows Azure Table Storage Service為要求大量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的應(yīng)用提供NoSQL性能。表能夠自動(dòng)擴(kuò)展到TB級(jí)別,能通過(guò)REST和Managed API訪問(wèn)。
2、鍵值數(shù)據(jù)庫(kù):Redis、SimpleDB、Scalaris、Memcached等,下面簡(jiǎn)單介紹幾個(gè)
(1)Riak:Riak是一個(gè)開(kāi)源,分布式鍵值數(shù)據(jù)庫(kù),支持?jǐn)?shù)據(jù)復(fù)制和容錯(cuò)。(2)Redis:Redis是一個(gè)開(kāi)源的鍵值存儲(chǔ)。支持主從式復(fù)制、事務(wù),Pub/Sub、Lua腳本,還支持給Key添加時(shí)限。
(3)Dynamo:Dynamo是一個(gè)鍵值分布式數(shù)據(jù)存儲(chǔ)。它直接由亞馬遜Dynamo數(shù)據(jù)庫(kù)實(shí)現(xiàn);在亞馬遜S3產(chǎn)品中使用。
(4)Oracle NoSQL Database:來(lái)自O(shè)racle的鍵值NoSQL數(shù)據(jù)庫(kù)。它支持事務(wù)ACID(原子性、一致性、持久性和獨(dú)立性)和JSON。
(5)Oracle NoSQL Database:具備數(shù)據(jù)備份和分布式鍵值存儲(chǔ)系統(tǒng)。
(6)Voldemort:具備數(shù)據(jù)備份和分布式鍵值存儲(chǔ)系統(tǒng)。
(7)Aerospike:Aerospike數(shù)據(jù)庫(kù)是一個(gè)鍵值存儲(chǔ),支持混合內(nèi)存架構(gòu),通過(guò)強(qiáng)一致性和可調(diào)一致性保證數(shù)據(jù)的完整性。
3、文檔數(shù)據(jù)庫(kù):MongoDB、CouchDB、Perservere、Terrastore、RavenDB等,下面簡(jiǎn)單介紹幾個(gè)
(1)MongoDB:開(kāi)源、面向文檔,也是當(dāng)下最人氣的NoSQL數(shù)據(jù)庫(kù)。
(2)CounchDB:Apache CounchDB是一個(gè)使用JSON的文檔數(shù)據(jù)庫(kù),使用Javascript做MapReduce查詢,以及一個(gè)使用HTTP的API。
(3)Couchbase:NoSQL文檔數(shù)據(jù)庫(kù)基于JSON模型。
(4)RavenDB:RavenDB是一個(gè)基于.NET語(yǔ)言的面向文檔數(shù)據(jù)庫(kù)。
(5)MarkLogic:MarkLogic NoSQL數(shù)據(jù)庫(kù)用來(lái)存儲(chǔ)基于XML和以文檔為中心的信息,支持靈活的模式。
4、圖數(shù)據(jù)庫(kù):Neo4J、InfoGrid、OrientDB、GraphDB,下面簡(jiǎn)單介紹幾個(gè)
(1)Neo4j:Neo4j是一個(gè)圖數(shù)據(jù)庫(kù);支持ACID事務(wù)(原子性、獨(dú)立性、持久性和一致性)。
(2)InfiniteGraph:一個(gè)圖數(shù)據(jù)庫(kù)用來(lái)維持和遍歷對(duì)象間的關(guān)系,支持分布式數(shù)據(jù)存儲(chǔ)。
(3)AllegroGraph:AllegroGraph是結(jié)合使用了內(nèi)存和磁盤(pán),提供了高可擴(kuò)展性,支持SPARQ、RDFS++和Prolog推理。
5、內(nèi)存數(shù)據(jù)網(wǎng)格:Hazelcast、Oracle Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces,下面簡(jiǎn)單介紹幾個(gè)
(1)Hazelcast:Hazelcast CE是一個(gè)開(kāi)源數(shù)據(jù)分布平臺(tái),它允許開(kāi)發(fā)者在數(shù)據(jù)庫(kù)集群之上共享和分割數(shù)據(jù)。
(2)Oracle Coherence:Oracle的內(nèi)存數(shù)據(jù)網(wǎng)格解決方案提供了常用數(shù)據(jù)的快速訪問(wèn)能力,一致性支持事務(wù)處理能力和數(shù)據(jù)的動(dòng)態(tài)劃分。
(3)Terracotta BigMemory:來(lái)自Terracotta的分布式內(nèi)存管理解決方案。這項(xiàng)產(chǎn)品包括一個(gè)Ehcache界面、Terracotta管理控制臺(tái)和BigMemory-Hadoop連接器。
(4)GemFire:Vmware vFabric GemFire是一個(gè)分布式數(shù)據(jù)管理平臺(tái),也是一個(gè)分布式的數(shù)據(jù)網(wǎng)格平臺(tái),支持內(nèi)存數(shù)據(jù)管理、復(fù)制、劃分、數(shù)據(jù)識(shí)別路由和連續(xù)查詢。
(5)Infinispan:Infinispan是一個(gè)基于Java的開(kāi)源鍵值NoSQL數(shù)據(jù)存儲(chǔ),和分布式數(shù)據(jù)節(jié)點(diǎn)平臺(tái),支持事務(wù),peer-to-peer 及client/server 架構(gòu)。
(6)GridGain:分布式、面向?qū)ο?、基于?nèi)存、SQL+NoSQL鍵值數(shù)據(jù)庫(kù)。支持ACID事務(wù)。
(7)GigaSpaces:GigaSpaces內(nèi)存數(shù)據(jù)網(wǎng)格能夠充當(dāng)應(yīng)用的記錄系統(tǒng),并支持各種各樣的高速緩存場(chǎng)景。
文檔數(shù)據(jù)庫(kù)
源起:受Lotus Notes啟發(fā)。
數(shù)據(jù)模型:包含了key-value的文檔集合
例子:CouchDB, MongoDB
優(yōu)點(diǎn):數(shù)據(jù)模型自然,編程友好,快速開(kāi)發(fā),web友好,CRUD。
圖數(shù)據(jù)庫(kù)
源起: 歐拉和圖理論。
數(shù)據(jù)模型:節(jié)點(diǎn)和關(guān)系,也可處理鍵值對(duì)。
例子:AllegroGraph, InfoGrid, Neo4j
優(yōu)點(diǎn):解決復(fù)雜的圖問(wèn)題。
關(guān)系數(shù)據(jù)庫(kù)
源起: E. F. Codd 在A Relational Model of Data for Large Shared Data Banks提出的
數(shù)據(jù)模型:各種關(guān)系
例子:VoltDB, Clustrix, MySQL
優(yōu)點(diǎn):高性能、可擴(kuò)展的OLTP,支持SQL,物化視圖,支持事務(wù),編程友好。
對(duì)象數(shù)據(jù)庫(kù)
源起:圖數(shù)據(jù)庫(kù)研究
數(shù)據(jù)模型:對(duì)象
例子:Objectivity, Gemstone
優(yōu)點(diǎn):復(fù)雜對(duì)象模型,快速鍵值訪問(wèn),鍵功能訪問(wèn),以及圖數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)。
Key-Value數(shù)據(jù)庫(kù)
源起:Amazon的論文 Dynamo 和 Distributed HashTables。
數(shù)據(jù)模型:鍵值對(duì)
例子:Membase, Riak
優(yōu)點(diǎn):處理大量數(shù)據(jù),快速處理大量讀寫(xiě)請(qǐng)求。編程友好。
BigTable類型數(shù)據(jù)庫(kù)
源起:Google的論文 BigTable。
數(shù)據(jù)模型:列簇,每一行在理論上都是不同的
例子:HBase, Hypertable, Cassandra
優(yōu)點(diǎn):處理大量數(shù)據(jù),應(yīng)對(duì)極高寫(xiě)負(fù)載,高可用,支持跨數(shù)據(jù)中心, MapReduce。
數(shù)據(jù)結(jié)構(gòu)服務(wù)
源起: ?
數(shù)據(jù)模型:字典操作,lists, sets和字符串值
例子:Redis
優(yōu)點(diǎn):不同于以前的任何數(shù)據(jù)庫(kù)
網(wǎng)格數(shù)據(jù)庫(kù)
源起:數(shù)據(jù)網(wǎng)格和元組空間研究。
數(shù)據(jù)模型:基于空間的架構(gòu)
例子:GigaSpaces, Coherence
優(yōu)點(diǎn):適于事務(wù)處理的高性能和高擴(kuò)展性
文章標(biāo)題:nosql視圖,nosql和圖數(shù)據(jù)庫(kù)
鏈接分享:http://www.rwnh.cn/article20/dscohjo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站策劃、企業(yè)網(wǎng)站制作、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站維護(hù)、外貿(mào)建站、
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容