Python 批量下载阴阳师网站壁纸_Python

代码复制可直接使用，记得pip install下载requests和bs4

最终版本

				?

									# 引入系统类库用于打开关闭文件

									import sys

									# 使用文档解析类库

									from bs4 import BeautifulSoup

									# 使用网络请求类库

									import requests

									#图片保存目录

									path = 'D:/阴阳师'

									#阴阳师壁纸网站

									html_doc = "https://yys.163.com/media/picture.html"

									# 请求

									requests_html_doc = requests.get(html_doc).text

									# 正则匹配所有href地址

									regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')

									urls = regex.findall(requests_html_doc)

									# set集合可以防止下载的图片重复

									result = set()

									for i in urls:

									    result.add(i)

									# 计数器用于图片命名

									num = 0

									# 文件路径、操作模式、编码  # r''

									# 打开文件录入图片

									f = open(r'result.txt', 'w', encoding='utf-8')

									for a in urls:

									    try:

									        image_data = requests.get(a).content

									        image_name = '{}.jpg'.format(num)  # 给每张图片命名

									        save_path = path + '/' + image_name  # 图片的保存地址

									        with open(save_path, 'wb') as f:

									            f.write(image_data)

									            print(image_name, '=======================>下载成功！！！')

									            num = num+1  # 下一张图片名字序号加一

									    except:

									        pass

									# 关闭文件录入

									f.close()

									print("\r\n扫描结果已写入到result.txt文件中\r\n")

过程

借鉴代码

自己从0开始，没有头绪，而且对python掌握度不高，那先借鉴别人的代码开始，第一篇借鉴的代码如下

				?

									# 引入系统类库

									import sys

									# 使用文档解析类库

									from bs4 import BeautifulSoup

									# 使用网络请求类库

									import urllib.request

									path = 'D:/阴阳师'

									html_doc = "https://yys.163.com/media/picture.html"

									# 获取请求

									req = urllib.request.Request(html_doc)

									# 打开页面

									webpage = urllib.request.urlopen(req)

									# 读取页面内容

									html = webpage.read()

									# 解析成文档对象

									soup = BeautifulSoup(html, 'html.parser')  # 文档对象

									# 非法URL 1

									invalidLink1 = '#'

									# 非法URL 2

									invalidLink2 = 'javascript:void(0)'

									# set集合可以防止下载的图片连接重复

									result = set()

									# 计数器用于图片命名

									num = 0

									# 查找文档中所有a标签

									for k in soup.find_all('a'):

									    # print(k)

									    # 查找href标签

									    link = k.get('href')

									    # 过滤没找到的

									    if(link is not None):

									        # 过滤非法链接

									        if link == invalidLink1:

									            pass

									        elif link == invalidLink2:

									            pass

									        elif link.find("javascript:") != -1:

									            pass

									        else:

									            result.add(link)

									for a in result:

									    # 文件路径、操作模式、编码  # r''

									    f = open(r'result.txt', 'w', encoding='utf-8')

									    # image_data = urllib.request.get(url=a).content

									    image_data = requests.get(url=a).content

									    image_name = '{}.jpg'.format(num)  # 给每张图片命名

									    save_path = path + '/' + image_name  # 图片的保存地址

									    with open(save_path, 'wb') as f:

									        f.write(image_data)

									        print(image_name, '=======================>下载成功！！！')

									        num = num+1  # 下一张图片名字序号加一

									        f.close()

									print("\r\n扫描结果已写入到result.txt文件中\r\n")

思考urllib.request和requests

借鉴的代码中使用urllib.request来请求，刚开始学习看到的一些代码实例也常用urllib.request来发起请求，之后看到有的代码使用的是requests。对于我个人，主观感受requests更加便捷，少写了几行代码，于是便去查阅了解两者的区别。

BeautifulSoup

接触到了BeautifulSoup，并且在一些文章的评论中看到对BeautifulSoup的称赞，进入文档查阅了下用法，改变了我之前对python，获取文档中部分特征的元素节点的写法困难的印象。

Beautiful Soup 4.4.0 文档

优化处理

之所以要加正则匹配，因为一开始获取到的图片链接里有空字符串的现象，在下载图片的时候直接报错整个程序挂掉，而且这个借鉴代码中的invalidLink1和invalidLink2看起来属实不舒服。所以添加了正则从源头保证链接的有效性，并且在执行下载代码中，添加了try，except保证程序出错也不会挂掉。

借鉴的代码中每一次的下载，都会对要保存的目录进行打开和关闭，于是将打开关闭抽离到最外层，下载的逻辑放在里面，下载图片成功的提速果然肉眼可见~