這篇文章主要為大家分析了大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)易懂，操作細(xì)節(jié)合理，具有一定參考價(jià)值。如果感興趣的話，不妨跟著跟隨小編一起來看看，下面跟著小編一起深入學(xué)習(xí)“大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析”的知識(shí)吧。

創(chuàng)新互聯(lián)公司長(zhǎng)期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為桂東企業(yè)提供專業(yè)的成都網(wǎng)站制作、成都做網(wǎng)站，桂東網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

軟硬件環(huán)境

OS：win7

Cpu：8 核

集算報(bào)表：1120 安裝版

Jvm：1G

數(shù)據(jù)庫(kù)：oracle11g

客戶無法解決的問題：

有一個(gè)交叉匯總報(bào)表，其實(shí)格式很簡(jiǎn)單，行列各一個(gè)統(tǒng)計(jì)維度。但后臺(tái)業(yè)務(wù)表的數(shù)據(jù)有 175 萬條，且還要與其他表（大概在 7w 條左右）做 join，如果由 sql 來處理，可以想象到會(huì)慢到什么程度，關(guān)鍵受各種條件影響，能否查出數(shù)據(jù)都是問題。

注：ACCORECEIVE 表 175w 條數(shù)據(jù)

目前，測(cè)試 birt 需 5 分鐘，借助各種中間表與視圖。報(bào)表友商無法出表。

要求：能做出該報(bào)表在 web 展現(xiàn)，且重要的是速度要快，另外，數(shù)據(jù)（目前大概是 5 年數(shù)據(jù)）是實(shí)時(shí)增加的。

客戶報(bào)表格式及目前所用 sql：

報(bào)表格式：

Sql：

select LOCATIONS.loupan loupan,
       LOCATIONS.LPORDERNUM,
       nvl(ACCORECEIVE.RECEIVABLEAMOUNT, 0) yingshou,
       chargeproct.Description CHARPNAME,
       chargeproct.ordernum chordernum
  from ACCORECEIVE,V\_LOCATION\_LP\_LG\_DY LOCATIONS,chargeproct
   where ACCORECEIVE.Org\_Id = LOCATIONS.Org\_Id
   and ACCORECEIVE.Sub\_Org\_Id = LOCATIONS.Sub\_Org\_Id
   and ACCORECEIVE.Fk_Locationid = LOCATIONS.Locationid
   and ACCORECEIVE.Fk_Chargeproctid = chargeproct.chargeproctid(+)
   and ACCORECEIVE.Wf_Status not in('作廢')

問題分析及解決方案

常規(guī)模式下，大數(shù)據(jù)要出交叉報(bào)表幾乎很難，這里受 sql 效率慢、jvm 等的影響，一次如果把所有數(shù)據(jù)全部取出則必然極大可能內(nèi)存溢出。另外，大數(shù)據(jù)表再有 join，即便能取，那取數(shù)速度上肯定也無法保證（sql join 的效率低），上面 sql 中能體現(xiàn)出所有問題。

解決方案：

1、為避免一次性取數(shù)內(nèi)存溢出，可采用集算器游標(biāo) cursor 取數(shù)；  –cursor

2、去除不需要字段及 join 字段。分析后發(fā)現(xiàn)，客戶實(shí)際不需要 org_id、sub_org_id 的關(guān)聯(lián)；

3、取數(shù)后可根據(jù)客戶所出報(bào)表對(duì)應(yīng)做數(shù)據(jù)處理，這里可 groups 處理一次分組匯總；–替代報(bào)表表達(dá)式 group

4、為擺脫 sql join 效率低問題，可將 join 放在集算器內(nèi)處理，這里 ACCORECEIVE 與 V_LOCATION_LP_LG_DY 表（query 即可，數(shù)據(jù)不大）分開取數(shù)；  –switch 連接

注：集算器中測(cè)試了兩表 sql 中 join，時(shí)間大概需 5 分鐘。

5、結(jié)合客戶報(bào)表格式及所用的數(shù)據(jù)庫(kù)表，可將上面 sql 中 chargeproct 表放到報(bào)表 sql 取數(shù)，因其僅體現(xiàn)顯示值作用，且僅幾十條數(shù)據(jù)。

集算腳本：

注：代碼有每一步的作用說明

關(guān)于“大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析”就介紹到這了,更多相關(guān)內(nèi)容可以搜索創(chuàng)新互聯(lián)以前的文章，希望能夠幫助大家答疑解惑，請(qǐng)多多支持創(chuàng)新互聯(lián)網(wǎng)站！

分享文章：大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析-創(chuàng)新互聯(lián)
文章鏈接：http://www.rwnh.cn/article36/dcohsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、微信小程序、面包屑導(dǎo)航、微信公眾號(hào)、營(yíng)銷型網(wǎng)站建設(shè)、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)