python爬取免费或付费小说的示例分析

本篇文章给大家分享的是有关python爬取免费或付费小说的示例分析，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

为公安等地区用户提供了全套网页设计制作服务，及公安网站建设行业解决方案。主营业务为网站制作、做网站、公安网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

小说相信大家都爱看吧一章接一章具有极大的吸引力看了还想看,当然付费小说价格也不便宜看到一半突然收费猝不及防!在我们程序员这里收费是不存在的万物皆可爬

什么是网络爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

环境：Python3.6+Windows

开发工具：你喜欢用哪个就用哪个，你开心就好！

主要思路：

1 获取主页源代码

2 获取章节超链接

3 获取章节超链接源码

4 获取小说内容

5 下载,文件操作

python爬取免费或付费小说的示例分析

Python代码了解一下

import urllib.requestimport re# 1 获取主页源代码# 2 获取章节超链接# 3 获取章节超链接源码# 4 获取小说内容# 5 下载,文件操作
# 驼峰命名法# 获取小说内容def getNovertContent():    #     html = urllib.request.urlopen("http://www.quanshuwang.com/book/0/269").read()    html = html.decode("gbk")    # 不加括号  不匹配    # 正则表达式  .*?  匹配所有    reg = r'(.*?)
'    # 增加效率的    reg = re.compile(reg)    urls = re.findall(reg,html)    # print(urls)    # 列表    # [(http://www.quanshuwang.com/book/0/269/78850.html,第一章 山边小村),    # (http://www.quanshuwang.com/book/0/269/78854.html,第二章 青牛镇)]    for url in urls:        # 章节的URL地址        novel_url = url[0]        # 章节标题        novel_title = url[1]
        chapt = urllib.request.urlopen(novel_url).read()        chapt_html = chapt.decode("gbk")        # r 表示原生字符串   \ \\d  r"\d"        reg = r'    (.*?)

关于创新互联

python爬取免费或付费小说的示例分析