当前位置:首页 » 《资源分享》 » 正文

Python零基础爬取网页数据并导出Excel_wohaipagui的博客

16 人参与  2021年10月04日 13:23  分类 : 《资源分享》  评论

点击全文阅读


1.Python环境搭建

Python安装包下载

Python安装

开发工具 pycharm

谷歌驱动,需要下载自己对应版本

2.代码说明

from selenium import webdriver  # 用来驱动浏览器的
import time

import xlwt

# 声明两个驱动(由于要反复抓两个页面)
driver = webdriver.Chrome(r'H:\chromedriver_win32\chromedriver.exe')
driver2= webdriver.Chrome(r'H:\chromedriver_win32\chromedriver.exe')

# 声明导出Excel 方法 name:导出excel名称   result:需要导出的数据,二维数组
def write_data_to_excel(name, result):
    # 将sql作为参数传递调用get_data并将结果赋值给result,(result为一个嵌套元组)
    result = result
    print
    result
    # 实例化一个Workbook()对象(即excel文件)
    wbk = xlwt.Workbook(encoding='utf-8')
    # 新建一个名为Sheet1的excel sheet。此处的cell_overwrite_ok =True是为了能对同一个单元格重复操作。
    sheet = wbk.add_sheet('Sheet1', cell_overwrite_ok=True)
    titlelist = ['姓名', '工作单位', '专业方向', '联系电话']
    for i in range(len(result)):
        # 对result的每个子元素作遍历,
        if i == 0:
            for x in range(len(titlelist)):
                sheet.write(0, x, titlelist[x])
        for j in range(len(result[i])):
            y = i + 1
            # 将每一行的每个元素按行号i,列号j,写入到excel中。
            print
            result[i][j]
            sheet.write(y, j, result[i][j])
    # 以传递的name+当前日期作为excel名称保存。
    wbk.save(name+'.xls')


try:
    #要抓取的网页路径
    driver.get('http://www.xjtu.edu.cn/zmjs_tcgx.jsp?urltype=tree.TreeTempUrl&wbtreeid=1188&wbxjtucategoryid=39&wbtcflname=国家有突出贡献的专家及中青年专家')

    # 获取页面元素
    tbody=driver.find_element_by_xpath("//td[@class='sublist']/table")
    tr=tbody.find_elements_by_tag_name('tr')
    list = []

    # 封装需要导出的数据
    for index in range(len(tr)):
        if index>0:
            trDetail=tr[index]
            tdList=trDetail.find_elements_by_tag_name('td')
            detail = []
            detail.append(tdList[0].text)
            detail.append(tdList[1].text)
            detail.append(tdList[2].text)
            try:
                a=driver.find_element_by_xpath("//td[@class='sublist']/table/tbody/tr[" + str(index+1) + "]/td[1]/a")
                links =a.get_attribute("href")
                driver2.get(links)
                tel=driver2.find_element_by_xpath("//div[@class='jiaoshi']/div[12]").text
                tel=tel.split( )
                if tel[0]!='联系电话:':
                    detail.append(tel[0])
                    list.append(detail)
            finally:
                continue
    write_data_to_excel("西安交通大学国家有突出贡献的专家及中青年专家",list)


    print(list)
    time.sleep(3)

finally:
    driver.close()

点击全文阅读


本文链接:http://m.zhangshiyu.com/post/29346.html

导出  专家  中青年  
<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • (番外)+(全书)霍沉洲沈青禾此去经年人未还(霍沉洲沈青禾)_(霍沉洲沈青禾此去经年人未还)列表_笔趣阁(霍沉洲沈青禾)
  • (番外)+(全书)霍沉洲沈青禾(此去经年人未还霍沉洲沈青禾)完结_(霍沉洲沈青禾)列表_笔趣阁(此去经年人未还霍沉洲沈青禾)
  • 「重回八零,拒绝替嫁冲喜」章节彩蛋限时释出‌_卫东玉兰苏夏人气小说未删减节选
  • 重生七零祁同伟不再是农民儿子结局+番外纯净版全书免费重生七零祁同伟不再是农民儿子结局+番外纯净版全书免费
  • 傅雅宁的神女老婆,却在背地承欢作乐顾尘傅雅宁全书在线
  • 全文神女老婆,却在背地承欢作乐全局(顾尘傅雅宁)列表_全文神女老婆,却在背地承欢作乐全局
  • (番外)+(全书)此去经年人未还全书+番外+后续免费下载_(沈青禾霍沉洲)此去经年人未还全书+番外+后续列表_笔趣阁(沈青禾霍沉洲)
  • 完结文毁容的姐姐和瞎眼的我离开后,姜家两兄弟悔哭了+后续列表_完结文毁容的姐姐和瞎眼的我离开后,姜家两兄弟悔哭了+后续(林梦婉)
  • 妻子辱我爸受贿自杀,我掏出一等军功章节选推荐_[陈素云辰朋友]小说精彩章节分享
  • 全书浏览苔藓爬满旧日诺言新上(顾砚廷慕晚夏)_苔藓爬满旧日诺言新上(顾砚廷慕晚夏)全书结局
  • 顾尘傅雅宁(神女老婆,却在背地承欢作乐+后续+结局)结局_(顾尘傅雅宁神女老婆,却在背地承欢作乐+后续+结局全书结局)结局列表_笔趣阁(顾尘傅雅宁)
  • 「老婆怀上助理的孩子后,助理要求我净身出户」章节限时抢先看‌_「黄秋雅秋雅姐刘嘉铭」后续完结版

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1