使用Python爬取最好大学网大学排名

本文实例为大家分享了Python爬取最好大学网大学排名的具体代码，供大家参考，具体内容如下

源代码：

#-*-coding:utf-8-*-
'''''
Created on 2017年3月17日
@author: lavi
'''
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
 try:
   r = requests.get(url)
   r.raise_for_status
   r.encoding = r.apparent_encoding
   return r.text
 except:
   return ""

def fillUnivList(univList,html):
 soup = BeautifulSoup(html,"html.parser")
 for tr in soup.find("tbody").children:
   if isinstance(tr,bs4.element.Tag): #tobody有的节点是空串，属于要判断类型进行过滤
     tds = tr("td") #等价于tr.find_all("td")
     univList.append([tds[0].string,tds[1].string,tds[2].string]) #NavigableString可以跨越多个层次

def printUnivList(univList,num):
 tplt = "{0:^6}\t{1:^10}\t{2:^6}" #:前的数字说明使用format函数的第几个参数填充模板
 print(tplt.format("排名","学校名称","总分",chr(12288)))
 for i in range(num):
   u = univList[i]
   print(tplt.format(u[0],u[1],u[2],chr(12288)))
def main():
 url= "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html";
 html = getHTMLText(url)
 univList=[]
 fillUnivList(univList,html)
 printUnivList(univList,20)

main()

来源：http://blog.csdn.net/liuweiyuxiang/article/details/62897556