基本信息
源码名称:Python爬虫实例_爬取网页信息
源码大小:0.84KB
文件格式:.py
开发语言:Python
更新时间:2021-08-06
友情提示:(无需注册或充值,赞助后即可获取资源下载链接)
嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):813200300
本次赞助数额为: 2 元×
微信扫码支付:2 元
×
请留下您的邮箱,我们将在2小时内将文件发到您的邮箱
源码介绍
import requests from bs4 import BeautifulSoup def getHTMLText(url): r=requests.get(url,timeout=15) r.raise_for_status() r.encoding='utf-8' return r.text def getSoup(url): txt=getHTMLText(url) soup=BeautifulSoup(txt,"html.parser") return soup def getContents(soup): contents=soup.find('div',{'class':'usoft-listview-basic'}) articles=[] for item in contents.find_all('li'): date1=item.find('span',{'class':'usoft-listview-item-date'}) datestr=date1.string title=item.find('a')['title'] articles.append([title,"----",datestr]) return articles url="http://www.upln.cn/html/Channel_01/Column_0103/" soup=getSoup(url) articlelist=getContents(soup) for item in articlelist: for i in item: print(i,end="") print() print('-----------------')