1.Python环境搭建
Python安装包下载
Python安装
开发工具 pycharm
谷歌驱动,需要下载自己对应版本
2.代码说明
from selenium import webdriver # 用来驱动浏览器的
import time
import xlwt
# 声明两个驱动(由于要反复抓两个页面)
driver = webdriver.Chrome(r'H:\chromedriver_win32\chromedriver.exe')
driver2= webdriver.Chrome(r'H:\chromedriver_win32\chromedriver.exe')
# 声明导出Excel 方法 name:导出excel名称 result:需要导出的数据,二维数组
def write_data_to_excel(name, result):
# 将sql作为参数传递调用get_data并将结果赋值给result,(result为一个嵌套元组)
result = result
print
result
# 实例化一个Workbook()对象(即excel文件)
wbk = xlwt.Workbook(encoding='utf-8')
# 新建一个名为Sheet1的excel sheet。此处的cell_overwrite_ok =True是为了能对同一个单元格重复操作。
sheet = wbk.add_sheet('Sheet1', cell_overwrite_ok=True)
titlelist = ['姓名', '工作单位', '专业方向', '联系电话']
for i in range(len(result)):
# 对result的每个子元素作遍历,
if i == 0:
for x in range(len(titlelist)):
sheet.write(0, x, titlelist[x])
for j in range(len(result[i])):
y = i + 1
# 将每一行的每个元素按行号i,列号j,写入到excel中。
print
result[i][j]
sheet.write(y, j, result[i][j])
# 以传递的name+当前日期作为excel名称保存。
wbk.save(name+'.xls')
try:
#要抓取的网页路径
driver.get('http://www.xjtu.edu.cn/zmjs_tcgx.jsp?urltype=tree.TreeTempUrl&wbtreeid=1188&wbxjtucategoryid=39&wbtcflname=国家有突出贡献的专家及中青年专家')
# 获取页面元素
tbody=driver.find_element_by_xpath("//td[@class='sublist']/table")
tr=tbody.find_elements_by_tag_name('tr')
list = []
# 封装需要导出的数据
for index in range(len(tr)):
if index>0:
trDetail=tr[index]
tdList=trDetail.find_elements_by_tag_name('td')
detail = []
detail.append(tdList[0].text)
detail.append(tdList[1].text)
detail.append(tdList[2].text)
try:
a=driver.find_element_by_xpath("//td[@class='sublist']/table/tbody/tr[" + str(index+1) + "]/td[1]/a")
links =a.get_attribute("href")
driver2.get(links)
tel=driver2.find_element_by_xpath("//div[@class='jiaoshi']/div[12]").text
tel=tel.split( )
if tel[0]!='联系电话:':
detail.append(tel[0])
list.append(detail)
finally:
continue
write_data_to_excel("西安交通大学国家有突出贡献的专家及中青年专家",list)
print(list)
time.sleep(3)
finally:
driver.close()