服务器之家

服务器之家 > 正文

python实现csdn全部博文下载并转PDF

时间:2021-12-01 10:28     来源/作者:武亮宇

我们学习编程,在学习的时候,会有想把有用的知识点保存下来,我们可以把知识点的内容爬下来转变成pdf格式,方便我们拿手机可以闲时翻看,是很方便的

先来一个单个的博文下载转pdf格式的操作

python实现csdn全部博文下载并转PDF

python中将html转化为pdf的常用工具是Wkhtmltopdf工具包,在python环境下,pdfkit是这个工具包的封装类。如何使用pdfkit以及如何配置呢?分如下几个步骤。

下载wkhtmltopdf安装包,并且安装到电脑上。
下载地址:https://wkhtmltopdf.org/downloads.html

python实现csdn全部博文下载并转PDF

我下的是这个版本,安装的时候要记住路径,之后调用要用到路径

python实现csdn全部博文下载并转PDF

开发工具

  • python
  • pycharm
  • pdfkit (pip install pdfkit)
  • lxml

今天目标:博主的全部博文下载,并且转pdf格式保存

基本思路:

1、url + headers
2、分析网页: CSDN网页是静态网页, 请求获取网页源代码
3、lxml解析获取boke_urls, author_name
4、循环遍历,得到 boke_url
5、xpath解析获取文件名
6、css选择器获取标签文本的主体
7、构造拼接html文件
8、保存html文件
9、文件的转换

分析网页: CSDN网页是静态网页, 请求获取网页源代码
start_url =“https://i1bit.blog.csdn.net/” 为例
确定网址为同步加载

python实现csdn全部博文下载并转PDF

css选择器获取标签文本的主体为代码要点部分
css语法部分

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# css选择器获取标签文本的主体
        html_css = parsel.Selector(response_2)
        html_content = html_css.css('article').get()
# 构造拼接html文件
        html = \
            '''
                <!DOCTYPE html>
                    <html lang="en">
                    <head>
                        <meta charset="UTF-8">
                        <title>Title</title>
                    </head>
                    <body>
                        {}
                    </body>
                </html>
            '''.format(html_content)

点开博主的一篇博文打开开发者工具

python实现csdn全部博文下载并转PDF

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# css选择器获取标签文本的主体
        html_css = parsel.Selector(response_2)
        html_content = html_css.css('article').get()
# 构造拼接html文件
        html = \
            '''
                <!DOCTYPE html>
                    <html lang="en">
                    <head>
                        <meta charset="UTF-8">
                        <title>Title</title>
                    </head>
                    <body>
                        {}
                    </body>
                </html>
            '''.format(html_content)

文件的转换

?
1
2
3
4
5
6
7
8
9
10
11
12
config = pdfkit.configuration(wkhtmltopdf=r'这里为下载wkhtmltopdf.exe的路径')
         pdfkit.from_file(
             第一个参数要转变的html文件,
             第二个参数转变后的pdf文件,
             configuration=config
         )
         # 上面这样写清楚一点,也可以直接
         pdfkit.from_file(
             第一个参数要转变的html文件,
             第二个参数转变后的pdf文件,
         configuration=pdfkit.configuration(wkhtmltopdf=r'这里为下载wkhtmltopdf.exe的路径')
         )

源码展示:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
import parsel, os, pdfkit
from lxml import etree
from requests_html import HTMLSession
session = HTMLSession()
 
 
 
def main():
    # 1、url + headers
    start_url = input(r'请输入csdn博主的地址:')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                      '(KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
    }
 
    # 2、分析网页: CSDN网页是静态网页, 请求获取网页源代码
    response_1 = session.get(start_url, headers=headers).text
 
 
    # 3、解析获取boke_urls, author_name
    html_xpath_1 = etree.HTML(response_1)
 
    author_name = html_xpath_1.xpath(r'//*[@id="floor-user-profile_485"]/div/div[1]/div[2]/div[2]/div[1]/div[1]/text()')[0]
 
    boke_urls = html_xpath_1.xpath(r'//article[@class="blog-list-box"]/a/@href')
 
 
    # 4、循环遍历,得到 boke_url
    for boke_url in boke_urls:
 
        # 5、请求
        response_2 = session.get(boke_url, headers=headers).text
 
        # 6、xpath解析获取文件名
        html_xpath_2 = etree.HTML(response_2)
        file_name = html_xpath_2.xpath(r'//h1[@id="articleContentId"]/text()')[0]
 
 
        # 7、css选择器获取标签文本的主体
        html_css = parsel.Selector(response_2)
        html_content = html_css.css('article').get()
 
        # 8、构造拼接html文件
        html = \
            '''
                <!DOCTYPE html>
                    <html lang="en">
                    <head>
                        <meta charset="UTF-8">
                        <title>Title</title>
                    </head>
                    <body>
                        {}
                    </body>
                </html>
            '''.format(html_content)
 
        # 9、创建两个文件夹, 一个用来保存html 一个用来保存pdf文件
        if not os.path.exists(r'{}-html'.format(author_name)):
            os.mkdir(r'{}-html'.format(author_name))
 
        if not os.path.exists(r'{}-pdf'.format(author_name)):
            os.mkdir(r'{}-pdf'.format(author_name))
 
        # 10、保存html文件
        try:
            with open(r'{}-html/{}.html'.format(author_name, file_name), 'w', encoding='utf-8') as f:
                f.write(html)
        except Exception as e:
            print('文件名错误')
 
        # 11、文件的转换
        try:
            config = pdfkit.configuration(wkhtmltopdf=r'C:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe')
            pdfkit.from_file(
                '{}-html/{}.html'.format(author_name, file_name),
                '{}-pdf/{}.pdf'.format(author_name, file_name),
                configuration=config
            )
            a = print(r'--文件下载成功:{}.pdf'.format(file_name))
 
        except Exception as e:
            continue
 
 
if __name__ == '__main__':
   main()

代码操作:

python实现csdn全部博文下载并转PDF

到此这篇关于python实现csdn全部博文下载并转PDF的文章就介绍到这了,更多相关python 博文下载并转PDF内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.csdn.net/weixin_54733110/article/details/117884699

标签:

相关文章

热门资讯

yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
2021年耽改剧名单 2021要播出的59部耽改剧列表
2021年耽改剧名单 2021要播出的59部耽改剧列表 2021-03-05
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
返回顶部