需求:

成都創(chuàng)新互聯(lián)公司長(zhǎng)期為近1000家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為固陽(yáng)企業(yè)提供專業(yè)的成都做網(wǎng)站、網(wǎng)站制作，固陽(yáng)網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

/ 解決是一個(gè)各個(gè)子模塊內(nèi)的熱度排名--》 排名得用sortBy ---》 （可能就是簡(jiǎn)單的排序，或者是二次排序） ---》

// 前面有一個(gè)wordCount---》 算出次數(shù)出來(lái)  --》 考慮什么作為key

//算的一個(gè)網(wǎng)站下面，每個(gè)子模塊下面的網(wǎng)頁(yè)熱度前2名 ：

// 算的一個(gè)網(wǎng)站下面，每個(gè)子模塊下面的網(wǎng)頁(yè)熱度前2名 --》 每個(gè)子模塊下面的網(wǎng)頁(yè)的次數(shù)的前2名

// 在實(shí)際開(kāi)發(fā)中，真正代碼時(shí)間可能只占20-30% ，其他時(shí)間都在理解需求，想思路

import java.net.URL
import org.apache.spark.{SparkConf, SparkContext}

object Data_anlysis {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("data-anysis").setMaster("local[2]")
    val sc = new SparkContext(conf)
    val linesRDD = sc.textFile("d://web_data.log")
    val rdd01 =linesRDD.map(line => {
      val lineSplited = line.split("\t")
      (lineSplited(1),1)
    })
    val rdd02 = rdd01.reduceByKey(_+_)
    val rdd03 = rdd02.map(tup => {
      val url = tup._1;
      val host = new URL(url).getHost
      (host,url,tup._2)
    })
    val rdd04 = rdd03.groupBy(_._1)
    val rdd05 = rdd04.mapValues(iter => {
      iter.toList.sortBy(_._3).reverse.take(2)
    })
    println(rdd05.collect().toBuffer)
    sc.stop()
  }
}

運(yùn)行結(jié)果會(huì)把網(wǎng)站的日志數(shù)據(jù)按照某一模塊的要求列出排名前2個(gè)結(jié)果展示出來(lái)。

網(wǎng)頁(yè)題目：Spark分析網(wǎng)站排名熱度
本文來(lái)源：http://www.rwnh.cn/article32/jdcgpc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、、靜態(tài)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站策劃、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)