網(wǎng)易傳媒技術(shù)團(tuán)隊(duì)：消息中間件實(shí)現(xiàn)延遲隊(duì)列的應(yīng)用與實(shí)踐

早期需要延遲處理的業(yè)務(wù)場(chǎng)景，更多的是通過定時(shí)任務(wù)掃表，然后執(zhí)行滿足條件的記錄，具有頻率高、命中低、資源消耗大的缺點(diǎn)。隨著消息中間件的普及，延遲消息可以很好的處理這種場(chǎng)景，本文主要介紹延遲消息的使用場(chǎng)景以及基于常見的消息中間件如何實(shí)現(xiàn)延遲隊(duì)列，最后給出了一個(gè)在網(wǎng)易公開課使用延遲隊(duì)列的實(shí)踐。

創(chuàng)新互聯(lián)專注于企業(yè)營(yíng)銷型網(wǎng)站、網(wǎng)站重做改版、托里網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、成都h5網(wǎng)站建設(shè)、商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為托里等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

1、有效期：限時(shí)活動(dòng)、拼團(tuán)。。。

2、超時(shí)處理：取消超時(shí)未支付訂單、超時(shí)自動(dòng)確認(rèn)收貨。。。

4、重試：網(wǎng)絡(luò)異常重試、打車派單、依賴條件未滿足重試。。。

5、定時(shí)任務(wù)：智能設(shè)備定時(shí)啟動(dòng)。。。

1、RabbitMQ

1）簡(jiǎn)介：基于AMQP協(xié)議，使用Erlang編寫，實(shí)現(xiàn)了一個(gè)Broker框架

a、Broker：接收和分發(fā)消息的代理服務(wù)器

b、Virtual Host：虛擬主機(jī)之間相互隔離，可理解為一個(gè)虛擬主機(jī)對(duì)應(yīng)一個(gè)消息服務(wù)

c、Exchange：交換機(jī)，消息發(fā)送到指定虛擬機(jī)的交換機(jī)上

d、Binding：交換機(jī)與隊(duì)列綁定，并通過路由策略和routingKey將消息投遞到一個(gè)或多個(gè)隊(duì)列中

e、Queue：存放消息的隊(duì)列，F(xiàn)IFO，可持久化

f、Channel：信道，消費(fèi)者通過信道消費(fèi)消息，一個(gè)TCP連接上可同時(shí)創(chuàng)建成百上千個(gè)信道，作為消息隔離

2）延遲隊(duì)列實(shí)現(xiàn)：RabbitMQ的延遲隊(duì)列基于消息的存活時(shí)間TTL（Time To Live）和死信交換機(jī)DLE（Dead Letter Exchanges）實(shí)現(xiàn)

a、TTL：RabbitMQ支持對(duì)隊(duì)列和消息各自設(shè)置存活時(shí)間，取二者中較小的值，即隊(duì)列無消費(fèi)者連接或消息在隊(duì)列中一直未被消費(fèi)的過期時(shí)間

b、DLE：過期的消息通過綁定的死信交換機(jī)，路由到指定的死信隊(duì)列，消費(fèi)者實(shí)際上消費(fèi)的是死信隊(duì)列上的消息

3）缺點(diǎn)：

a、配置麻煩，額外增加一個(gè)死信交換機(jī)和一個(gè)死信隊(duì)列的配置

b、脆弱性，配置錯(cuò)誤或者生產(chǎn)者消費(fèi)者連接的隊(duì)列錯(cuò)誤都有可能造成延遲失效

2、RocketMQ

1）簡(jiǎn)介：來源于阿里，目前為Apache頂級(jí)開源項(xiàng)目，使用Java編寫，基于長(zhǎng)輪詢的拉取方式，支持事務(wù)消息，并解決了順序消息和海量堆積的問題

a、Broker：存放Topic并根據(jù)讀取Producer的提交日志，將邏輯上的一個(gè)Topic分多個(gè)Queue存儲(chǔ)，每個(gè)Queue上存儲(chǔ)消息在提交日志上的位置

b、Name Server：無狀態(tài)的節(jié)點(diǎn)，維護(hù)Topic與Broker的對(duì)應(yīng)關(guān)系以及Broker的主從關(guān)系

2）延遲隊(duì)列實(shí)現(xiàn)：RocketMQ發(fā)送延時(shí)消息時(shí)先把消息按照延遲時(shí)間段發(fā)送到指定的隊(duì)列中(rocketmq把每種延遲時(shí)間段的消息都存放到同一個(gè)隊(duì)列中)，然后通過一個(gè)定時(shí)器進(jìn)行輪訓(xùn)這些隊(duì)列，查看消息是否到期，如果到期就把這個(gè)消息發(fā)送到指定topic的隊(duì)列中

3）缺點(diǎn)：延遲時(shí)間粒度受限制（1s/5s/10s/30s/1m/2m/3m/4m/5m/6m/7m/8m/9m/10m/20m/30m/1h/2h）

3、Kafka

1）簡(jiǎn)介：來源于Linkedin，目前為Apache頂級(jí)開源項(xiàng)目，使用Scala和Java編寫，基于zookeeper協(xié)調(diào)的分布式、流處理的日志系統(tǒng)，升級(jí)版為Jafka

2）延遲隊(duì)列實(shí)現(xiàn)：Kafka支持延時(shí)生產(chǎn)、延時(shí)拉取、延時(shí)刪除等，其基于時(shí)間輪和JDK的DelayQueue實(shí)現(xiàn)

a、時(shí)間輪(TimingWheel)：是一個(gè)存儲(chǔ)定時(shí)任務(wù)的環(huán)形隊(duì)列，底層采用數(shù)組實(shí)現(xiàn)，數(shù)組中的每個(gè)元素可以存放一個(gè)定時(shí)任務(wù)列表

b、定時(shí)任務(wù)列表(TimerTaskList)：是一個(gè)環(huán)形的雙向鏈表，鏈表中的每一項(xiàng)表示的都是定時(shí)任務(wù)項(xiàng)

c、定時(shí)任務(wù)項(xiàng)(TimerTaskEntry)：封裝了真正的定時(shí)任務(wù)TimerTask

d、層級(jí)時(shí)間輪：當(dāng)任務(wù)的到期時(shí)間超過了當(dāng)前時(shí)間輪所表示的時(shí)間范圍時(shí)，就會(huì)嘗試添加到上層時(shí)間輪中，類似于鐘表就是一個(gè)三級(jí)時(shí)間輪

e、JDK DelayQueue：存儲(chǔ)TimerTaskList，并根據(jù)其expiration來推進(jìn)時(shí)間輪的時(shí)間，每推進(jìn)一次除執(zhí)行相應(yīng)任務(wù)列表外，層級(jí)時(shí)間輪也會(huì)進(jìn)行相應(yīng)調(diào)整

3）缺點(diǎn)：

a、延遲精度取決于時(shí)間格設(shè)置

b、延遲任務(wù)除由超時(shí)觸發(fā)還可能被外部事件觸發(fā)而執(zhí)行

4、ActiveMQ

1）簡(jiǎn)介：基于JMS協(xié)議，Java編寫的Apache頂級(jí)開源項(xiàng)目，支持點(diǎn)對(duì)點(diǎn)和發(fā)布訂閱兩種模式。

a、點(diǎn)對(duì)點(diǎn)（point-to-point）：消息發(fā)送到指定的隊(duì)列，每條消息只有一個(gè)消費(fèi)者能夠消費(fèi)，基于拉模型

b、發(fā)布訂閱（publish/subscribe）：消息發(fā)送到主題Topic上，每條消息會(huì)被訂閱該Topic的所有消費(fèi)者各自消費(fèi)，基于推模型

2）延遲隊(duì)列實(shí)現(xiàn)：需要延遲的消息會(huì)先存儲(chǔ)在JobStore中，通過異步線程任務(wù)JobScheduler將到達(dá)投遞時(shí)間的消息投遞到相應(yīng)隊(duì)列上

a、Broker Filter：Broker中定義了一系列BrokerFilter的子類構(gòu)成攔截器鏈，按順序?qū)ο⑦M(jìn)行相應(yīng)處理

b、ScheduleBroker：當(dāng)消息中指定了延遲相關(guān)屬性，并且jobId為空時(shí)，會(huì)生成調(diào)度任務(wù)存儲(chǔ)到JobStore中，此時(shí)消息不會(huì)進(jìn)入到隊(duì)列

c、JobStore：基于BTree存儲(chǔ)，key為任務(wù)執(zhí)行的時(shí)間戳，value為該時(shí)間戳下需要執(zhí)行的任務(wù)列表

d、JobScheduler：取JobStore中最小的key執(zhí)行（調(diào)度時(shí)間最早的），執(zhí)行時(shí)間=當(dāng)前時(shí)間，將該任務(wù)列表依次投遞到所屬的隊(duì)列，對(duì)于需要重復(fù)投遞和投遞失敗的會(huì)再次存入JobStore中。

注： 此處JobScheduler的執(zhí)行時(shí)間間隔可動(dòng)態(tài)變化，默認(rèn)0.5s，有新任務(wù)時(shí)會(huì)立即執(zhí)行（Object-notifyAll()）并設(shè)置時(shí)間間隔為0.1s，沒有新任務(wù)后，下次執(zhí)行時(shí)間為最近任務(wù)的調(diào)度執(zhí)行時(shí)間。

3）缺點(diǎn)：投遞到隊(duì)列失敗，將消息重新存入JobStore，消息調(diào)度執(zhí)行時(shí)間=系統(tǒng)當(dāng)前時(shí)間+延遲時(shí)間，會(huì)導(dǎo)致消息被真實(shí)投遞的時(shí)間可能為設(shè)置的延遲時(shí)間的整數(shù)倍

5、Redis

1）簡(jiǎn)介：基于Key-Value的NoSQL數(shù)據(jù)庫(kù)，由于其極高的性能常被當(dāng)作緩存來使用，其數(shù)據(jù)結(jié)構(gòu)支持：字符串、哈希、列表、集合、有序集合

2）延遲隊(duì)列實(shí)現(xiàn)：Redis的延遲隊(duì)列基于有序集合，score為執(zhí)行時(shí)間戳，value為任務(wù)實(shí)體或任務(wù)實(shí)體引用

3）缺點(diǎn)：

a、實(shí)現(xiàn)復(fù)雜，本身不支持

b、完全基于內(nèi)存，延遲時(shí)間長(zhǎng)浪費(fèi)內(nèi)存資源

6、消息隊(duì)列對(duì)比

1、公開課延遲隊(duì)列技術(shù)選型

1）業(yè)務(wù)場(chǎng)景：關(guān)閉超時(shí)未支付訂單、限時(shí)優(yōu)惠活動(dòng)、拼團(tuán)

2）性能要求：訂單、活動(dòng)、拼團(tuán) 數(shù)據(jù)量可控，上述MQ均能滿足要求

3）可靠性：使用ActiveMQ、RabbitMQ、RocketMQ作為延遲隊(duì)列更普遍

4）可用性：ActiveMQ、RocketMQ自身支持延遲隊(duì)列功能，且目前公開課業(yè)務(wù)中使用的中間件為ActiveMQ和Kafka

5）延遲時(shí)間靈活：活動(dòng)的開始和結(jié)束時(shí)間比較靈活，而RocketMQ時(shí)間粒度較粗，Kafka會(huì)依賴時(shí)間格有精度缺失

結(jié)論： 最終選擇ActiveMQ來作為延遲隊(duì)列

2、業(yè)務(wù)場(chǎng)景：關(guān)閉未支付訂單

1）關(guān)閉微信未支付訂單

2）關(guān)閉IOS未支付訂單

3、ActiveMQ使用方式

1）activemq.xml中支持調(diào)度任務(wù)

2）發(fā)送消息時(shí)，設(shè)置message的延遲屬性

其中：

a、延遲處理

AMQ_SCHEDULED_DELAY：設(shè)置多長(zhǎng)時(shí)間后，投遞給消費(fèi)者（毫秒）

b、重復(fù)投遞

AMQ_SCHEDULED_PERIOD：重復(fù)投遞時(shí)間間隔（毫秒）

AMQ_SCHEDULED_REPEAT：重復(fù)投遞次數(shù)

c、指定調(diào)度計(jì)劃

AMQ_SCHEDULED_CRON：corn正則表達(dá)式

4、公開課使用中進(jìn)行的優(yōu)化

1）可靠性：針對(duì)實(shí)際投遞時(shí)間可能翻倍的問題，結(jié)合ActiveMQ的重復(fù)投遞，在消費(fèi)者邏輯中做冪等處理來保證延遲時(shí)間的準(zhǔn)確性

2）可追溯性：延遲消息及消費(fèi)情況做數(shù)據(jù)庫(kù)冗余存儲(chǔ)

3）易用性：業(yè)務(wù)上定義好延遲枚舉類型，直接使用JmsDelayTemplate發(fā)送，無需關(guān)心數(shù)據(jù)備份和參數(shù)等細(xì)節(jié)

1、無論是基于死信隊(duì)列還是基于數(shù)據(jù)先存儲(chǔ)后投遞，本質(zhì)上都是將延遲待發(fā)送的消息數(shù)據(jù)與正常訂閱的隊(duì)列分開存儲(chǔ)，從而降低耦合度

2、無論是檢查隊(duì)頭消息TTL還是調(diào)度存儲(chǔ)的延遲數(shù)據(jù)，本質(zhì)上都是通過定時(shí)任務(wù)來完成的，但是定時(shí)任務(wù)的觸發(fā)策略以及延遲數(shù)據(jù)的存儲(chǔ)方式?jīng)Q定了不同中間件之間的性能優(yōu)劣

張浩，2018年加入網(wǎng)易傳媒，高級(jí)Java開發(fā)工程師，目前在網(wǎng)易公開課主要做支付財(cái)務(wù)體系、版本迭代相關(guān)的工作。

使用SQL語(yǔ)句在學(xué)生管理數(shù)據(jù)庫(kù)中創(chuàng)建學(xué)生選擇專業(yè)的"基本"數(shù)據(jù)表形式 如何寫出這個(gè)問題的實(shí)踐報(bào)告

為了大家更容易理解我舉出的SQL語(yǔ)句，本文假定已經(jīng)建立了一個(gè)學(xué)生成績(jī)管理數(shù)據(jù)庫(kù)，全文均以學(xué)生成績(jī)的管理為例來描述。

1.在查詢結(jié)果中顯示列名：

a.用as關(guān)鍵字：select name as '姓名' from students order by age

b.直接表示：select name '姓名' from students order by age

2.精確查找:

a.用in限定范圍：select * from students where native in ('湖南', '四川')

b.betweenand：select * from students where age between 20 and 30

c.“=”：select * from students where name = '李山'

d.like:select * from students where name like '李%' (注意查詢條件中有“%”，則說明是部分匹配，而且還有先后信息在里面，即查找以“李”開頭的匹配項(xiàng)。所以若查詢有“李”的所有對(duì)象，應(yīng)該命令：'%李%';若是第二個(gè)字為李，則應(yīng)為'_李%'或'_李'或'_李_'。)

e.[]匹配檢查符：select * from courses where cno like '[AC]%' (表示或的關(guān)系，與"in()"類似，而且"[]"可以表示范圍，如：select * from courses where cno like '[A-C]%')

3.對(duì)于時(shí)間類型變量的處理

a.smalldatetime：直接按照字符串處理的方式進(jìn)行處理，例如：

select * from students where birth = '1980-1-1' and birth = '1980-12-31'

4.集函數(shù)

a.count()求和，如：select count(*) from students (求學(xué)生總?cè)藬?shù))

b.avg(列)求平均，如：select avg(mark) from grades where cno=’B2’

c.max(列)和min(列)，求最大與最小

5.分組group

常用于統(tǒng)計(jì)時(shí)，如分組查總數(shù)：

select gender,count(sno)

from students

group by gender

查看男女學(xué)生各有多少)

注意：從哪種角度分組就從哪列"group by"

對(duì)于多重分組，只需將分組規(guī)則羅列。比如查詢各屆各專業(yè)的男女同學(xué)人數(shù)，那么分組規(guī)則有：屆別(grade)、專業(yè)(mno)和性別(gender)，所以有"group by grade, mno, gender"select grade, mno, gender, count(*)

from students

group by grade, mno, gender

通常group還和having聯(lián)用，比如查詢1門課以上不及格的學(xué)生，則按學(xué)號(hào)(sno)分類有：

select sno,count(*) from grades

where mark60

group by sno

having count(*)1

6.UNION聯(lián)合

并查詢結(jié)果，如：

SELECT * FROM students

WHERE name like ‘張%’

UNION [ALL]

SELECT * FROM students

WHERE name like ‘李%’

7.多表查詢

a.內(nèi)連接

select g.sno,s.name,c.coursename

from grades g JOIN students s ON g.sno=s.sno

JOIN courses c ON g.cno=c.cno

(注意可以引用別名)

b.外連接

b1.左連接

select courses.cno,max(coursename),count(sno)

from courses LEFT JOIN grades ON courses.cno=grades.cno

group by courses.cno

左連接特點(diǎn)：顯示全部左邊表中的所有項(xiàng)目，即使其中有些項(xiàng)中的數(shù)據(jù)未填寫完全。

左外連接返回那些存在于左表而右表中卻沒有的行，再加上內(nèi)連接的行。

b2.右連接

與左連接類似

b3.全連接

select sno,name,major

from students FULL JOIN majors ON students.mno=majors.mno

兩邊表中的內(nèi)容全部顯示

c.自身連接

select c1.cno,c1.coursename,c1.pno,c2.coursename

from courses c1,courses c2 where c1.pno=c2.cno

采用別名解決問題。

d.交叉連接

select lastname+firstname from lastname CROSS JOIN firstanme

相當(dāng)于做笛卡兒積

8.嵌套查詢

a.用關(guān)鍵字IN,如查詢李山的同鄉(xiāng)：

select * from students

where native in (select native from students where name=’ 李山’)

b.使用關(guān)鍵字EXIST,比如，下面兩句是等價(jià)的：

select * from students

where sno in (select sno from grades where cno=’B2’)

select * from students where exists

(select * from grades where

grades.sno=students.sno AND cno=’B2’)

9.關(guān)于排序order

a.對(duì)于排序order，有兩種方法：asc升序和desc降序

b.對(duì)于排序order,可以按照查詢條件中的某項(xiàng)排列，而且這項(xiàng)可用數(shù)字表示，如：

select sno,count(*) ,avg(mark) from grades

group by sno

having avg(mark)85

order by 3

10.其他

a.對(duì)于有空格的識(shí)別名稱，應(yīng)該用"[]"括住。

b.對(duì)于某列中沒有數(shù)據(jù)的特定查詢可以用null判斷，如select sno,courseno from grades where mark IS NULL

c.注意區(qū)分在嵌套查詢中使用的any與all的區(qū)別，any相當(dāng)于邏輯運(yùn)算“||”而all則相當(dāng)于邏輯運(yùn)算“”

d.注意在做否定意義的查詢是小心進(jìn)入陷阱：

如，沒有選修‘B2’課程的學(xué)生 ：

select students.*

from students, grades

where students.sno=grades.sno

AND grades.cno ’B2’

上面的查詢方式是錯(cuò)誤的，正確方式見下方：

select * from students

where not exists (select * from grades

where grades.sno=students.sno AND cno='B2')

11.關(guān)于有難度多重嵌套查詢的解決思想：

如，選修了全部課程的學(xué)生：

select *

from students

where not exists ( select *

from courses

where NOT EXISTS

(select *

from grades

where sno=students.sno

AND cno=courses.cno))

最外一重：從學(xué)生表中選，排除那些有課沒選的。用not exist。由于討論對(duì)象是課程，所以第二重查詢從course表中找，排除那些選了課的即可。

sql server 2000 數(shù)據(jù)庫(kù)實(shí)訓(xùn)報(bào)告

要求學(xué)生學(xué)習(xí)并掌握現(xiàn)代計(jì)算機(jī)信息系統(tǒng)所必備的基礎(chǔ)理論、專業(yè)知識(shí)、主要的實(shí)現(xiàn)手段。具有比較熟練的數(shù)據(jù)庫(kù)應(yīng)用，信息系統(tǒng)管理技能，并能進(jìn)行基本的信息系統(tǒng)工程中的需求研究、開發(fā)與維護(hù)。 二． 專業(yè)方向 1．微軟SQL SERVER方向/ORACLE方向 2．信息管理方向 3．財(cái)務(wù)信息管理方向 三． 具體介紹 （一）微軟SQL SERVER方向 這個(gè)方向是和微軟ATA聯(lián)合辦學(xué)，參加微軟考證，課程考試合格，可以獲取微軟的MCDBA認(rèn)證證書。 1． 知識(shí)能力結(jié)構(gòu) （1） 具有熟練應(yīng)用和操作計(jì)算機(jī)的能力。 （2） 具有較好的英語(yǔ)聽、閱讀能力及簡(jiǎn)單的寫作能力。 （3） 熟悉.NET框架平臺(tái)，熟練基于.NET框架的程序開發(fā)。 （4） 熟練掌握SQL Server數(shù)據(jù)庫(kù)，能夠?qū)?shù)據(jù)庫(kù)進(jìn)行各種操作。 （5） 掌握計(jì)算機(jī)網(wǎng)絡(luò)基本概念，掌握局域網(wǎng)的組建與管理技術(shù)，熟練掌握網(wǎng)絡(luò)操作系統(tǒng)的使用。 2． 就業(yè)方向： （1） 各企業(yè)事業(yè)單位勞動(dòng)、人事、檔案、財(cái)務(wù)管理、電子商務(wù)及辦公自動(dòng)化。 （2） 企業(yè)ERP系統(tǒng)的開發(fā)、實(shí)施與維護(hù)。 （3）網(wǎng)絡(luò)組建運(yùn)行維護(hù)、信息管理及數(shù)據(jù)庫(kù)建設(shè)。 （4）企業(yè)電子商務(wù)的實(shí)施與系統(tǒng)維護(hù) 3． 主要課程介紹 （1）SQL Server 2000 設(shè)計(jì)與應(yīng)用 主要講授數(shù)據(jù)庫(kù)技術(shù)的基本概念，數(shù)據(jù)模型和關(guān)系數(shù)據(jù)庫(kù)模型，關(guān)系數(shù)據(jù)庫(kù)設(shè)計(jì)理論，SQLserver數(shù)據(jù)庫(kù)設(shè)計(jì)，數(shù)據(jù)查詢，高級(jí)SQL語(yǔ)言查詢，存儲(chǔ)過程，應(yīng)用數(shù)據(jù)庫(kù)設(shè)計(jì)。 （2） ADO.NET 程序設(shè)計(jì) 操縱數(shù)據(jù)庫(kù)是編寫應(yīng)用程序的重要環(huán)節(jié)，單獨(dú)開設(shè)一門課程講解如何編寫高效、安全、穩(wěn)定的面向數(shù)據(jù)的應(yīng)用程序。 （3）基于.NET 的Web 應(yīng)用程序設(shè)計(jì) 介紹設(shè)計(jì)基于.NET 的Web 應(yīng)用程序的基本概念，方法和相關(guān)配置，是本專業(yè)重要的課程。 4． 實(shí)踐訓(xùn)練課程 SQL SERVER程序設(shè)計(jì)實(shí)訓(xùn)、ASP.NET課程實(shí)訓(xùn)、畢業(yè)綜合實(shí)訓(xùn)。 （二）ORACLE方向 這個(gè)方向是和ORACLE聯(lián)合辦學(xué)，參加ORACLE考證，課程考試合格，可以獲取ORACLE的數(shù)據(jù)庫(kù)工程師證書。 1．知識(shí)能力結(jié)構(gòu) （1） 具有熟練應(yīng)用和操作計(jì)算機(jī)的能力。 （2） 具有較好的英語(yǔ)聽、閱讀能力及簡(jiǎn)單的寫作能力。 （3） 熟悉ORACLE框架平臺(tái)，熟練基于ORACLE框架的程序開發(fā)。 （4） 熟練掌握SQL Server數(shù)據(jù)庫(kù)，能夠?qū)?shù)據(jù)庫(kù)進(jìn)行各種操作。 （5） 掌握計(jì)算機(jī)網(wǎng)絡(luò)基本概念，掌握局域網(wǎng)的組建與管理技術(shù)，熟練掌握網(wǎng)絡(luò)操作系統(tǒng)的使用。 2．就業(yè)方向： （1） 各企業(yè)事業(yè)單位勞動(dòng)、人事、檔案、財(cái)務(wù)管理、電子商務(wù)及辦公自動(dòng)化。 （2） 軟件程序的設(shè)計(jì)、開發(fā)、調(diào)試與維護(hù)。 （3） 金融證券行情接收、分析、交易，人口、工業(yè)、農(nóng)業(yè)等普查。 （4） 工業(yè)生產(chǎn)過程自動(dòng)化控制、農(nóng)業(yè)大棚管理、環(huán)境監(jiān)測(cè)、天文計(jì)算等。 （5） 網(wǎng)絡(luò)組建運(yùn)行維護(hù)、信息管理及數(shù)據(jù)庫(kù)建設(shè)。 3．主要課程介紹 （1）ORACLE 數(shù)據(jù)庫(kù)及應(yīng)用 本課程主要介紹ORACLE數(shù)據(jù)的使用，其中包括SQL語(yǔ)言的基礎(chǔ)基本數(shù)據(jù)定義、數(shù)據(jù)操作語(yǔ)句。

金融領(lǐng)域七大數(shù)據(jù)科學(xué)應(yīng)用實(shí)踐案例

金融領(lǐng)域七大數(shù)據(jù)科學(xué)應(yīng)用實(shí)踐案例

近年來，數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)應(yīng)對(duì)一系列主要金融任務(wù)的能力已成為一個(gè)特別重要的問題。 公司希望知道更多技術(shù)帶來的改進(jìn)以及他們?nèi)绾沃厮軜I(yè)務(wù)戰(zhàn)略。

為了幫助您回答這些問題，我們準(zhǔn)備了一份對(duì)金融行業(yè)影響最大的數(shù)據(jù)科學(xué)應(yīng)用清單。 它們涵蓋了從數(shù)據(jù)管理到交易策略的各種業(yè)務(wù)方面，但它們的共同點(diǎn)是增強(qiáng)金融解決方案的巨大前景。

自動(dòng)化風(fēng)險(xiǎn)管理

風(fēng)險(xiǎn)管理是金融機(jī)構(gòu)極其重要的領(lǐng)域， 負(fù)責(zé)公司的安全性，可信度和戰(zhàn)略決策 。 過去幾年來，處理風(fēng)險(xiǎn)管理的方法發(fā)生了重大變化，改變了金融部門的性質(zhì)。 從未像現(xiàn)在這樣，今天的機(jī)器學(xué)習(xí)模型定義了業(yè)務(wù)發(fā)展的載體。

風(fēng)險(xiǎn)可以來自很多來源，例如競(jìng)爭(zhēng)對(duì)手，投資者，監(jiān)管機(jī)構(gòu)或公司的客戶。 此外，風(fēng)險(xiǎn)的重要性和潛在損失可能不同。 因此，**主要步驟是識(shí)別，優(yōu)先考慮和監(jiān)控風(fēng)險(xiǎn)，這是機(jī)器學(xué)習(xí)的完美任務(wù)。 **通過對(duì)大量客戶數(shù)據(jù)，金融借貸和保險(xiǎn)結(jié)果的訓(xùn)練，算法不僅可以增強(qiáng)風(fēng)險(xiǎn)評(píng)分模型，還可以提高成本效率和可持續(xù)性。

數(shù)據(jù)科學(xué)和人工智能(AI)在風(fēng)險(xiǎn)管理中最重要的應(yīng)用是識(shí)別潛在客戶的信譽(yù)。 為了為特定客戶建立適當(dāng)?shù)男庞妙~度，公司使用機(jī)器學(xué)習(xí)算法來分析過去的支出行為和模式。 這種方法在與新客戶或具有簡(jiǎn)短信用記錄的客戶合作時(shí)也很有用。

雖然金融風(fēng)險(xiǎn)管理流程的數(shù)字化和自動(dòng)化處于早期階段，但潛力巨大。 金融機(jī)構(gòu)仍需要為變革做好準(zhǔn)備，這種變革通過實(shí)現(xiàn)核心財(cái)務(wù)流程的自動(dòng)化，提高財(cái)務(wù)團(tuán)隊(duì)的分析能力以及進(jìn)行戰(zhàn)略性技術(shù)投資。 但只要公司開始向這個(gè)方向發(fā)展，利潤(rùn)就不會(huì)讓自己等待。

管理客戶數(shù)據(jù)

對(duì)于金融公司來說，數(shù)據(jù)是最重要的資源。因此，高效的數(shù)據(jù)管理是企業(yè)成功的關(guān)鍵。今天，在結(jié)構(gòu)和數(shù)量上存在大量的金融數(shù)據(jù)：從社交媒體活動(dòng)和移動(dòng)互動(dòng)到市場(chǎng)數(shù)據(jù)和交易細(xì)節(jié)。金融專家經(jīng)常需要處理半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，手動(dòng)處理這些數(shù)據(jù)是一個(gè)巨大的挑戰(zhàn)。

然而，對(duì)于大多數(shù)公司來說，將機(jī)器學(xué)習(xí)技術(shù)與管理過程集成僅僅是從數(shù)據(jù)中提取真實(shí)知識(shí)的必要條件。**人工智能工具，特別是自然語(yǔ)言處理，數(shù)據(jù)挖掘和文本分析有助于將數(shù)據(jù)轉(zhuǎn)化為智能數(shù)據(jù)治理和更好的業(yè)務(wù)解決方案，從而提高盈利能力。**例如，機(jī)器學(xué)習(xí)算法可以通過向客戶學(xué)習(xí)財(cái)務(wù)歷史數(shù)據(jù)來分析某些特定財(cái)務(wù)趨勢(shì)和市場(chǎng)發(fā)展的影響。最后，這些技術(shù)可用于生成自動(dòng)報(bào)告。

預(yù)測(cè)分析

分析現(xiàn)在是金融服務(wù)的核心。 值得特別關(guān)注的是預(yù)測(cè)分析，它揭示了預(yù)測(cè)未來事件的數(shù)據(jù)模式，可以立即采取行動(dòng)。 通過了解社交媒體，新聞趨勢(shì)和其他數(shù)據(jù)源，這些復(fù)雜的分析方法已經(jīng)實(shí)現(xiàn)了預(yù)測(cè)價(jià)格和客戶終生價(jià)值，未來生活事件，預(yù)期流失率和股市走勢(shì)等主要應(yīng)用。 最重要的是，這種技術(shù)可以幫助回答復(fù)雜的問題 - 如何最好地介入。

實(shí)時(shí)分析

實(shí)時(shí)分析通過分析來自不同來源的大量數(shù)據(jù)從根本上改變財(cái)務(wù)流程，并快速識(shí)別任何變化并找到對(duì)其的最佳反應(yīng)。財(cái)務(wù)實(shí)時(shí)分析應(yīng)用有三個(gè)主要方向：

欺詐識(shí)別

**金融公司有義務(wù)保證其用戶的最高安全級(jí)別。**公司面臨的主要挑戰(zhàn)是找到一個(gè)很好的欺詐檢測(cè)系統(tǒng)，罪犯總是會(huì)采用新的方法并設(shè)置新的陷阱。**只有稱職的數(shù)據(jù)科學(xué)家才能創(chuàng)建完美的算法來檢測(cè)和預(yù)防用戶行為異?；蛘谶M(jìn)行的各種欺詐工作流程。**例如，針對(duì)特定用戶的不尋常金融購(gòu)買警報(bào)或大量現(xiàn)金提款將導(dǎo)致阻止這些操作，直到客戶確認(rèn)為止。在股票市場(chǎng)中，機(jī)器學(xué)習(xí)工具可以識(shí)別交易數(shù)據(jù)中的模式，這可能會(huì)指示操縱并提醒員工進(jìn)行調(diào)查。然而，這種算法最大的優(yōu)勢(shì)在于自我教學(xué)的能力，隨著時(shí)間的推移變得越來越有效和智能化。

消費(fèi)者分析

實(shí)時(shí)分析還有助于更好地了解客戶和有效的個(gè)性化。先進(jìn)的機(jī)器學(xué)習(xí)算法和客戶情緒分析技術(shù)可以從客戶行為，社交媒體互動(dòng)，他們的反饋和意見中獲得見解，并改善個(gè)性化并提高利潤(rùn)。由于數(shù)據(jù)量巨大，只有經(jīng)驗(yàn)豐富的數(shù)據(jù)科學(xué)家才能精確分解。

算法交易

這個(gè)領(lǐng)域可能受實(shí)時(shí)分析的影響最大，因?yàn)槊棵攵紩?huì)受到影響。根據(jù)分析傳統(tǒng)和非傳統(tǒng)數(shù)據(jù)的最新信息，金融機(jī)構(gòu)可以做出實(shí)時(shí)有利的決策。而且由于這些數(shù)據(jù)通常只在短時(shí)間內(nèi)才有價(jià)值，因此在這個(gè)領(lǐng)域具有競(jìng)爭(zhēng)力意味著使用最快的方法分析數(shù)據(jù)。

在此領(lǐng)域結(jié)合實(shí)時(shí)和預(yù)測(cè)分析時(shí)，另一個(gè)預(yù)期會(huì)開啟。過去，金融公司不得不聘用能夠開發(fā)統(tǒng)計(jì)模型并使用歷史數(shù)據(jù)來創(chuàng)建預(yù)測(cè)市場(chǎng)機(jī)會(huì)的交易算法的數(shù)學(xué)家。然而，今天人工智能提供了使這一過程更快的技術(shù)，而且特別重要的是 - 不斷改進(jìn)。

因此， 數(shù)據(jù)科學(xué)和人工智能在交易領(lǐng)域進(jìn)行了革命，啟動(dòng)了算法交易策略。 世界上大多數(shù)交易所都使用計(jì)算機(jī)，根據(jù)算法和正確策略制定決策，并考慮到新數(shù)據(jù)。 人工智能無限處理大量信息，包括推文，財(cái)務(wù)指標(biāo)，新聞和書籍?dāng)?shù)據(jù)，甚至電視節(jié)目。 因此，它理解當(dāng)今的全球趨勢(shì)并不斷提高對(duì)金融市場(chǎng)的預(yù)測(cè)。

總而言之，實(shí)時(shí)和預(yù)測(cè)分析顯著改變了不同金融領(lǐng)域的狀況。 通過hadoop，NoSQL和Storm等技術(shù)，傳統(tǒng)和非傳統(tǒng)數(shù)據(jù)集以及最精確的算法，數(shù)據(jù)工程師正在改變財(cái)務(wù)用于工作的方式。

深度個(gè)性化和定制

企業(yè)認(rèn)識(shí)到，在當(dāng)今市場(chǎng)競(jìng)爭(zhēng)的關(guān)鍵步驟之一是通過與客戶建立高質(zhì)量的個(gè)性化關(guān)系來提高參與度。 這個(gè)想法是分析數(shù)字客戶體驗(yàn)，并根據(jù)客戶的興趣和偏好對(duì)其進(jìn)行修改。 人工智能在理解人類語(yǔ)言和情感方面取得重大進(jìn)展，從而將客戶個(gè)性化提升到一個(gè)全新的水平。 數(shù)據(jù)工程師還可以建立模型，研究消費(fèi)者的行為并發(fā)現(xiàn)客戶需要財(cái)務(wù)建議的情況。 預(yù)測(cè)分析工具和高級(jí)數(shù)字交付選項(xiàng)的結(jié)合可以幫助完成這項(xiàng)復(fù)雜的任務(wù)，在最恰當(dāng)?shù)臅r(shí)機(jī)指導(dǎo)客戶獲得最佳財(cái)務(wù)解決方案，并根據(jù)消費(fèi)習(xí)慣，社交人口趨勢(shì)，位置和其他偏好建議個(gè)性化服務(wù)。

結(jié)論

對(duì)于金融機(jī)構(gòu)來說，數(shù)據(jù)科學(xué)技術(shù)的使用提供了一個(gè)從競(jìng)爭(zhēng)中脫穎而出并重塑其業(yè)務(wù)的巨大機(jī)會(huì)。大量不斷變化的財(cái)務(wù)數(shù)據(jù)造成了將機(jī)器學(xué)習(xí)和AI工具引入業(yè)務(wù)不同方面的必要性。

我們認(rèn)為，我們主要關(guān)注金融領(lǐng)域的7大數(shù)據(jù)科學(xué)用例，但還有很多其他值得一提的。 如果您有任何進(jìn)一步的想法，請(qǐng)?jiān)谠u(píng)論部分分享您的想法。

本文名稱：nosql的實(shí)踐報(bào)告,nosql實(shí)訓(xùn)總結(jié)
分享網(wǎng)址：http://www.rwnh.cn/article42/dsijoec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站、網(wǎng)站排名、網(wǎng)站建設(shè)、定制開發(fā)、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)