R语言-Kindle特价书爬榜示例 & 输出HTML小技巧

不在博客园上阅读时才会看到的，这篇博文归http://www.cnblogs.com/weibaar 所有

仅保证在博客园博客上的排版干净利索还有代码块与图片正确显示，他站请保留作者信息尊重版权啊

             1
            library(rvest)

             2
            library(data.table)

             3
            library(dplyr)

             4
            #
            这里是导入网址。研究一下amazon的顺序，直接导入就好
             5 id<-1:5
 6 url_increase_fast<-paste0(
 7"http://www.amazon.cn/gp/movers-and-shakers/digital-text/ref=zg_bsms_digital-text_pg_",
 8        id,
 9"?ie=UTF8&pg=",
10        id)
11 url_newest<-paste0(
12"http://www.amazon.cn/gp/new-releases/digital-text/ref=zg_bsnr_digital-text_pg_",
13        id,
14"?ie=UTF8&pg=",
15        id)
16 url<-c(url_increase_fast,url_newest)
17#这里编写readdata函数，读取网页内容。里面有些不常用的字段，为了最后导出效果好看，我没全部都导。18#有额外需要的可以自己改编，譬如分类啊，好评率啊等等。对我来说，知道价格、书名就够了19 readdata<-function(i){
20         web<-html(url[i],encoding="UTF-8")
21         title<-web %>% html_nodes("div.zg_title") %>% html_text()
22         title_short<-substr(title,1,20)
23         price<-as.numeric(gsub("￥ ","",web %>% html_nodes("span.price") %>% html_text()))
24         ranking_movement<-web %>% html_nodes("span.zg_salesMovement") %>% html_text()
25         rank_number<-as.numeric(gsub("\\.","",web %>% html_nodes("span.zg_rankNumber") %>% html_text()))
26#新书榜里没有销售变动记录，所以记为NA27if (length(ranking_movement)==0) {ranking_movement=rep(NA,20)
28                                           rank_number=rep(NA,20)}
29         link<-gsub("\\\n","",web %>% html_nodes("div.zg_title a") %>% html_attr("href"))
30         ASIN<-sapply(strsplit(link,split = "/dp/"),function(e)e[2])
31         img<-web %>% html_nodes("div.zg_itemImage_normal img")  %>% html_attr("src")
32#这里加上html代码33         img_link<-paste0("<img src=‘",img,"‘>")
34         title_link<-paste0("<a href=‘",link,"‘>",title_short,"</a>")
35#合并数据36         combine<-data.table(img_link,title_link,price,ranking_movement)
37         setnames(combine,c("图像","书名","价格","销售变动"))
38#以防被封IP，设为5秒跑一次数据。39         Sys.sleep(5)
40        combine
41}
4243#做一个循坏开始跑数44 final<-data.table()
45for (i in 1:10){
46         final<-rbind(final,readdata(i))
47print(i)
48}
4950#这里编写一个函数，把data.table转化为html_table#要点请查看w3school，table页，以<table>开始，表头是<th>，行与行之间是<tr>#主要就是sapply, apply，paste的应用啦……就是把数据框先加<td>，再加<tr>，最后外面套一层<table>51 transfer_html_table<-function(rawdata){
52         title<-paste0("<th>",names(rawdata),"</th>")
53         content<-sapply(rawdata,function(e)paste0("<td>",e,"</td>"))
54         content<-apply(content,1,function(e) paste0(e,collapse = ""))
55         content<-paste0("<tr>",content,"</tr>")
56         bbb<-c("<table border=1><tr>",title,"</tr>",content,"</table>")
57        bbb
58}
59#这里应用transfer_html_table函数，把榜单输出为html表格60 final_less1<-transfer_html_table(rawdata=final %>% filter(价格<=1))
61 write(final_less1,"~//Kindle-低于1元特价书.html")
626364 final_1_2<-transfer_html_table(rawdata=final %>% filter(价格>1 & 价格<=2))
65 write(final_1_2,"~//Kindle_1-2元特价书.html")
6667 final_2_5<-transfer_html_table(rawdata=final %>% filter(价格>2 & 价格<=5))
68 write(final_2_5,"~//Kindle_2-5元特价书.html")

不在博客园上阅读时才会看到的，这篇博文归http://www.cnblogs.com/weibaar 所有

仅保证在博客园博客上的排版干净利索还有代码块与图片正确显示，他站请保留作者信息尊重版权啊