使用python测试网页中超链接的连通性

发布时间:2022-02-28 09:47:39 人气:69 作者:多测师

  在web测试,对网页中的超链接进行测试是最基本的工作,最简便的方法当然是使用像xenu之类的工具。但它具体是怎么实现的呢?我想也无外乎是通过http协议,根据超链接地址,向服务端发送请求,然后根据返回的信息进行判断连接的状态。下面是根据这种思路,用python编写的检测网页链接连通性的程序。

  首先,建立一个示例网页,其中link1,lin3是不连通的,link2,link4是有效链接

<head>Test</head>
<body>
<a href="
http://https://www.e70w.com/xwzx/">link1</a>
<a href="/sample/lik.html">link2</a>
<a href="/sample/lik2.html">link3</a>
<a href="
http://www.e70w.com/">link4</a>
</body>

  使 用python进行链接检测,要使用到4个重要模块,过程就是通过urllib抓取目标网页的html代码,然后通过sgmllib模块解析html,获 取超链接的列表。然后使用urlparse解析超链接的url,供httplib使用。然后由httplib模块进行最后的请求及验证回复的过程。

  sgmllib :用于HTML解析,解析出网页中包含的超链接

  httplib:用于Http协议的操作

  urllib:用于获取网页的html代码

  urlparse:解析url地址,把url地址解析成几个部分。

  具体实现代码如下:

  #-×-coding:gb2312-*-

  import httplib,urllib,urlparse

  from sgmllib import SGMLParser

使用python测试网页中超链接的连通性

  #解析指定的网页的html,得到该页面的超链接列表

  class URLLister(SGMLParser):

  def reset(self):

  SGMLParser.reset(self)

  self.urls = []

  def start_a(self, attrs):

  href = [v for k, v in attrs if k=='href']

  if href:

  self.urls.extend(href)

  #遍历超链接列表,并逐个的发送请求,判断接收后的代码,200为正常,其他为不正常

  def fetch(host):

  usock = urllib.urlopen(host)

  parser = URLLister()

  parser.feed(usock.read())

  uhost = urlparse.urlparse(host)

  for url in parser.urls:

  up = urlparse.urlparse(url)

  #因为超链接有两种方式:一种是直接的http://...... 一种是相对路径,/.../sample.html

  #所以要分别处理

  if up.netloc =="":

  http = httplib.HTTP(uhost.netloc)

  http.putrequest("GET", "/"+up.path+"?"+up.params+up.query+up.fragment)

  http.putheader("Accept", "*/*")

  http.endheaders()

  else:

  http = httplib.HTTP(up.netloc)

  http.putrequest("GET", up.path+"?"+up.params+up.query+up.fragment)

  http.putheader("Accept", "*/*")

  http.endheaders()

  errcode, errmsg, headers = http.getreply()

  if errcode == 200:

  print url," : ok"

  else:

  print url," : ",errcode

  #测试

  fetch("https://www.e70w.com/")

  代码运行的结果:

  https://www.e70w.com/erwerwe.html : 404

  /sample/lik.html : ok

  /sample/lik2.html : 404

  https://www.e70w.com/ : ok

  以上内容为大家介绍了使用python测试网页中超链接的连通性,希望对大家有所帮助,如果想要了解更多Python相关知识,请关注多测师。https://www.e70w.com/xwzx/

返回列表
在线客服
联系方式

热线电话

17727591462

上班时间

周一到周五

二维码
线