基本信息
源码名称:python采集起点小说 并保存到txt文件
源码大小:1.76KB
文件格式:.py
开发语言:Python
更新时间:2019-03-23
友情提示:(无需注册或充值,赞助后即可获取资源下载链接)
嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):813200300
本次赞助数额为: 5 元×
微信扫码支付:5 元
×
请留下您的邮箱,我们将在2小时内将文件发到您的邮箱
源码介绍
Python爬取小说网站
Python爬取小说网站
def start_request(self):
# 1. 请求网站拿到HTML源代码,抽取小说名、小说链接 创建文件夹
response = requests.get("https://www.qidian.com/all")
html = etree.HTML(response.text) # lxml 中的 etree 来解析 HTML
Bigtit_list = html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
Bigsrc_list = html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
for Bigtit, Bigsrc in zip(Bigtit_list, Bigsrc_list):
if os.path.exists(Bigtit) == False:
os.mkdir(Bigtit)
self.file_data(Bigtit, Bigsrc)