python培训之用python可以下载网页源码吗

发布时间:2022-10-18 09:45:59 人气:77 作者:多测师

  python可以下载网页的源代码,使用urllib库,或者使用更为方便的requests库。

  import urllib2

  def download(url, num_retries = 5):

  '''

  function: 下载网页源代码,如果遇到 5xx 错误状态,则继续尝试下载,直到下载 num_retries 次为止。

python培训之用python可以下载网页源码吗

  '''

  print "downloading " , url

  try:

  html = urllib2.urlopen(url).read()

  except urllib2.URLError as e:

  print "download error: " , e.reason

  html = None

  if num_retries > 0:

  if hasattr(e,'code') and 500 <= e.code < 600:

  return download(url, num_retries-1)

  return html

  其中 url 即为你想现在的网页地址。 num_reties 为遇到 5xx 错误的时候,重试下载的次数。

  以上内容为大家介绍了python培训之用python可以下载网页源码吗,希望对大家有所帮助,如果想要了解更多Python相关知识,请关注多测师。https://www.e70w.com/xwzx/


返回列表
在线客服
联系方式

热线电话

17727591462

上班时间

周一到周五

二维码
线