服务器之家

服务器之家 > 正文

hadoop中实现java网络爬虫(示例讲解)

时间:2021-01-10 11:44     来源/作者:sunwengang

这一篇网络爬虫的实现就要联系上大数据了。在前两篇java实现网络爬虫和heritrix实现网络爬虫的基础上,这一次是要完整的做一次数据的收集、数据上传、数据分析、数据结果读取、数据可视化。

需要用到

cygwin:一个在windows平台上运行的类unix模拟环境,直接网上搜索下载,并且安装;

hadoop:配置hadoop环境,实现了一个分布式文件系统(hadoop distributed file system),简称hdfs,用来将收集的数据直接上传保存到hdfs,然后用mapreduce分析;

eclipse:编写代码,需要导入hadoop的jar包,以可以创建mapreduce项目;

jsoup:html的解析jar包,结合正则表达式能更好的解析网页源码;

----->

目录:

1、配置cygwin

2、配置hadoop黄静

3、eclipse开发环境搭建

4、网络数据爬取(jsoup)

-------->

1、安装配置cygwin

从官方网站下载cygwin 安装文件,地址:https://cygwin.com/install.html

下载运行后进入安装界面。

安装时直接从网络镜像中下载扩展包,至少需要选择ssh和ssl支持包

安装后进入cygwin控制台界面,

运行ssh-host-config命令,安装ssh

输入:no,yes,ntsec,no,no

注意:win7下需要改为yes,yes,ntsec,no,yes,输入密码并确认这个步骤

完成后会在windows操作系统中配置好一个cygwin sshd服务,启动该服务即可。

hadoop中实现java网络爬虫(示例讲解)

然后要配置ssh免密码登陆

重新运行cygwin

执行ssh localhost,会要求使用密码进行登陆。

使用ssh-keygen命令来生成一个ssh密钥,一直回车结束即可。

生成后进入.ssh目录,使用命令:cp id_rsa.pub authorized_keys 命令来配置密钥。

之后使用exit退出即可。

重新进入系统后,通过ssh localhost就可以直接进入系统,不需要再输入密码了。

2、配置hadoop环境

修改hadoop-env.sh文件,加入jdk安装目录的java_home位置设置。

?
1
2
3
4
# the java implementation to use. required.
 
export java_home=/cygdrive/c/java/jdk1.7.0_67

如图注意:program files缩写为progra~1

hadoop中实现java网络爬虫(示例讲解)

修改hdfs-site.xml,设置存放副本为1(因为配置的是伪分布式方式)

?
1
2
3
4
5
6
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

注意:此图片多加了一个property,内容就是解决可能出现的权限问题!!!

hdfshadoop 分布式文件系统

可以在hdfs中通过命令动态对文件或文件夹进行crud

注意有可能出现权限的问题,需要通过在hdfs-site.xml中配置以下内容来避免:

?
1
2
3
4
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

hadoop中实现java网络爬虫(示例讲解)

修改mapred-site.xml,设置jobtracker运行的服务器与端口号(由于当前就是运行在本机上,直接写localhost 即可,端口可以绑定任意空闲端口)

?
1
2
3
4
5
6
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

配置core-site.xml,配置hdfs文件系统所对应的服务器与端口号(同样就在当前主机)

?
1
2
3
4
5
6
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

配置好以上内容后,在cygwin中进入hadoop目录

hadoop中实现java网络爬虫(示例讲解)

在bin目录下,对hdfs文件系统进行格式化(第一次使用前必须格式化),然后输入启动命令:

hadoop中实现java网络爬虫(示例讲解)

hadoop中实现java网络爬虫(示例讲解)

3、eclipse开发环境搭建

这个在我写的博客 大数据【二】hdfs部署及文件读写(包含eclipse hadoop配置)中给出大致配置方法。不过此时需要完善一下。

hadoop中的hadoop-eclipse-plugin.jar支持包拷贝到eclipseplugin目录下,为eclipse添加hadoop支持。

启动eclipse后,切换到mapreduce界面。

在windows工具选项选择showviews的others里面查找map/reduce locations。

map/reduce locations窗口中建立一个hadoop location,以便与hadoop进行关联。

hadoop中实现java网络爬虫(示例讲解)

hadoop中实现java网络爬虫(示例讲解)

hadoop中实现java网络爬虫(示例讲解)

注意:此处的两个端口应为你配置hadoop的时候设置的端口!!!

完成后会建立好一个hadoop location

hadoop中实现java网络爬虫(示例讲解)

在左侧的dfs location中,还可以看到hdfs中的各个目录

hadoop中实现java网络爬虫(示例讲解)

并且你可以在其目录下自由创建文件夹来存取数据。

下面你就可以创建mapreduce项目了,方法同正常创建一样。

4、网络数据爬取

现在我们通过编写一段程序,来将爬取的新闻内容的有效信息保存到hdfs中。

此时就有了两种网络爬虫的方法:

其一就是利用heritrix工具获取的数据;

其一就是java代码结合jsoup编写的网络爬虫。

方法一的信息保存到hdfs:

直接读取生成的本地文件,用jsoup解析html,此时需要将jsoup的jar包导入到项目中

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
package org.liky.sina.save;
 
//这里用到了jsoup开发包,该包可以很简单的提取到html中的有效信息
import java.io.file;
import org.apache.hadoop.conf.configuration;
import org.apache.hadoop.fs.fsdataoutputstream;
import org.apache.hadoop.fs.filesystem;
import org.apache.hadoop.fs.path;
import org.jsoup.jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.element;
import org.jsoup.select.elements;
 
public class sinanewsdata {
 
  private static configuration conf = new configuration();
 
  private static filesystem fs;
 
  private static path path;
 
  private static int count = 0;
 
  public static void main(string[] args) {
    parseallfile(new file(
        "e:/heritrix-1.12.1/jobs/sina_news_job_02-20170814013255352/mirror/"));
  }
 
  public static void parseallfile(file file) {
    // 判断类型
    if (file.isdirectory()) {
      // 文件夹
      file[] allfile = file.listfiles();
      if (allfile != null) {
        for (file f : allfile) {
          parseallfile(f);
        }
      }
    } else {
      // 文件
      if (file.getname().endswith(".html")
          || file.getname().endswith(".shtml")) {
        parsecontent(file.getabsolutepath());
      }
    }
  }
 
  public static void parsecontent(string filepath) {
    try {
        //用jsoup的方法读取文件路径
      document doc = jsoup.parse(new file(filepath), "utf-8");
      //读取标题
      string title = doc.title();
      elements descelem = doc.getelementsbyattributevalue("name",
          "description");
      element desce = descelem.first();
      
      // 读取内容
      string content = desce.attr("content");
 
      if (title != null && content != null) {
        //通过path来保存数据到hdfs中
        path = new path("hdfs://localhost:9000/input/"
            + system.currenttimemillis() + ".txt");
 
        fs = path.getfilesystem(conf);
 
        // 建立输出流对象
        fsdataoutputstream os = fs.create(path);
        // 使用os完成输出
        os.writechars(title + "\r\n" + content);
 
        os.close();
 
        count++;
 
        system.out.println("已经完成" + count + " 个!");
      }
 
    } catch (exception e) {
      e.printstacktrace();
    }
  }
}

以上这篇hadoop中实现java网络爬虫(示例讲解)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持服务器之家。

原文链接:http://www.cnblogs.com/1996swg/p/7368277.html

标签:

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
Intellij idea2020永久破解,亲测可用!!!
Intellij idea2020永久破解,亲测可用!!! 2020-07-29
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
歪歪漫画vip账号共享2020_yy漫画免费账号密码共享
歪歪漫画vip账号共享2020_yy漫画免费账号密码共享 2020-04-07
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
返回顶部