服务器之家

服务器之家 > 正文

Java基于WebMagic爬取某豆瓣电影评论的实现

时间:2021-08-18 13:49     来源/作者:Victor.Chang

目的

搭建爬虫平台,爬取某豆瓣电影的评论信息。

准备

webmagic是一个开源的java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。

下载webmagic源码,或maven导入,或jar包方式导入。  码云地址:https://gitee.com/flashsword20/webmagic 

试运行

搭建好后打开项目, 在 us.codecraft.webmagic.processor.example 包下有几个可运行的例子,我们可以直接运行体验(baidubaikepageprocessor 百度百科的这个比较稳定)。

爬到结果说明没问题。

Java基于WebMagic爬取某豆瓣电影评论的实现

自定义爬虫

接下来我们自己编写一个爬取豆瓣评论的爬虫。

爬取地址:https://movie.douban.com/subject/35096844/reviews?start=0

Java基于WebMagic爬取某豆瓣电影评论的实现

f12进入开发者模式 分析前端页面

Java基于WebMagic爬取某豆瓣电影评论的实现

我们发现我们需要爬取的评论信息存放在 class=short-content的div 中。

创建一个豆瓣爬取的类doubanpageprocessor如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
package us.codecraft.webmagic.processor.example;
 
import us.codecraft.webmagic.page;
import us.codecraft.webmagic.resultitems;
import us.codecraft.webmagic.site;
import us.codecraft.webmagic.spider;
import us.codecraft.webmagic.processor.pageprocessor;
 
import java.util.list;
import java.util.map;
 
/**
 * a simple pageprocessor.
 * 爬取豆瓣某电影的评论  爬取地址:https://movie.douban.com/subject/35096844/reviews?start=0
 *
 * @author code4crafter@gmail.com <br>
 * @since 0.1.0
 */
public class doubanpageprocessor implements pageprocessor {
 
  private site site;
 
  public doubanpageprocessor(string urlpattern) {
    this.site = site.me().setretrytimes(3).setsleeptime(300); // 设置站点重试次数3 间隔300ms
  }
 
  @override
  public void process(page page) {
    page.putfield("title", page.gethtml().xpath("//title/text()")); //爬取网页标题
//    page.putfield("html", page.gethtml().tostring()); //爬取整个页面的html
    page.putfield("titlelist", page.gethtml().css("div.short-content", "text").all()); // 我们要爬取的核心信息内容,获取方式与css选择器用法一样
//    page.putfield("content", page.gethtml().smartcontent());
  }
 
  @override
  public site getsite() {
    //settings
    return site;
  }
 
  public static void main(string[] args) {
 
    spider spider = spider.create(new doubanpageprocessor("https://movie\\.douban\\.com\\d+"));
    resultitems resultitems = spider.<resultitems>get("https://movie.douban.com/subject/35096844/reviews?start=0");// 爬取并获得爬取结果
    map<string, object> map = resultitems.getall();
    for (map.entry entry : map.entryset()) {
      system.out.println(entry.getkey() + " : " + entry.getvalue()); //打印爬取的所有内容
    }
    list<string> shortlist = (list<string>) map.get("titlelist");
    system.out.println("=====================分隔线===================\n短评如下:");
    for (int i = 0; i < shortlist.size(); i++) {
      system.out.println(i + "、" + shortlist.get(i).trim()); // 打印爬取的评论内容
    }
    spider.close();
  }
 
}

运行结果如下:

Java基于WebMagic爬取某豆瓣电影评论的实现

爬取成功。

到此这篇关于java基于webmagic爬取某豆瓣电影评论的实现的文章就介绍到这了,更多相关java webmagic爬取内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.csdn.net/qq_35402412/article/details/112647799

标签:

相关文章

热门资讯

yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021德云社封箱演出完整版 2021年德云社封箱演出在线看
2021德云社封箱演出完整版 2021年德云社封箱演出在线看 2021-03-15
返回顶部