发布时间：2022-02-28 09:47:39 人气：246 作者：多测师
在web测试，对网页中的超链接进行测试是最基本的工作，最简便的方法当然是使用像xenu之类的工具。但它具体是怎么实现的呢?我想也无外乎是通过http协议，根据超链接地址，向服务端发送请求，然后根据返回的信息进行判断连接的状态。下面是根据这种思路，用python编写的检测网页链接连通性的程序。
首先，建立一个示例网页，其中link1,lin3是不连通的，link2,link4是有效链接
<head>Test</head>
<body>
<a href="http://https://www.e70w.com/xwzx/">link1</a>
<a href="/sample/lik.html">link2</a>
<a href="/sample/lik2.html">link3</a>
<a href="http://www.e70w.com/">link4</a>
</body>
使 用python进行链接检测，要使用到4个重要模块，过程就是通过urllib抓取目标网页的html代码，然后通过sgmllib模块解析html，获 取超链接的列表。然后使用urlparse解析超链接的url，供httplib使用。然后由httplib模块进行最后的请求及验证回复的过程。
sgmllib :用于HTML解析，解析出网页中包含的超链接
httplib:用于Http协议的操作
urllib:用于获取网页的html代码
urlparse：解析url地址，把url地址解析成几个部分。
具体实现代码如下：
#-×-coding:gb2312-*-
import httplib,urllib,urlparse
from sgmllib import SGMLParser
#解析指定的网页的html，得到该页面的超链接列表
class URLLister(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self, attrs):
href = [v for k, v in attrs if k=='href']
if href:
self.urls.extend(href)
#遍历超链接列表，并逐个的发送请求，判断接收后的代码，200为正常，其他为不正常
def fetch(host):
usock = urllib.urlopen(host)
parser = URLLister()
parser.feed(usock.read())
uhost = urlparse.urlparse(host)
for url in parser.urls:
up = urlparse.urlparse(url)
#因为超链接有两种方式：一种是直接的http://...... 一种是相对路径，/.../sample.html
#所以要分别处理
if up.netloc =="":
http = httplib.HTTP(uhost.netloc)
http.putrequest("GET", "/"+up.path+"?"+up.params+up.query+up.fragment)
http.putheader("Accept", "*/*")
http.endheaders()
else:
http = httplib.HTTP(up.netloc)
http.putrequest("GET", up.path+"?"+up.params+up.query+up.fragment)
http.putheader("Accept", "*/*")
http.endheaders()
errcode, errmsg, headers = http.getreply()
if errcode == 200:
print url," : ok"
else:
print url," : ",errcode
#测试
fetch("https://www.e70w.com/")
代码运行的结果：
https://www.e70w.com/erwerwe.html : 404
/sample/lik.html : ok
/sample/lik2.html : 404
https://www.e70w.com/ : ok
以上内容为大家介绍了使用python测试网页中超链接的连通性，希望对大家有所帮助，如果想要了解更多Python相关知识，请关注多测师。https://www.e70w.com/xwzx/
深圳市多测师信息技术有限公司（以下简称：多测师）,成立于2016年6月,2018年成立广州分公司，2019年成立上海分公司。多测师是中国中小型综合性软件与信息服务企业，提供从咨询、解决方案、技术服务到IT人才培养的软件及信息服务。
客服