当前位置:首页 » 《随便一记》 » 正文

Python:这是一个朴实无华的爬虫教程,就是有点养眼_人生苦短, 还不用Python?

2 人参与  2022年06月02日 08:02  分类 : 《随便一记》  评论

点击全文阅读


好难受,上次发了做游戏的居然没人看,每天为了给你们写啥,老夫心都操碎了~
在这里插入图片描述
真的是,今天来给大家爬一波短视频网站吧,都是些很养眼的~
在这里插入图片描述

网站地址在代码里面,大家用心一下就能看到了。

使用的软件

python 3.8
pycharm 2021.2

模块

requests
parsel
re
concurrent.futures
time
warnings

不会安装模块看这篇:如何安装python模块, python模块安装失败的原因以及解决办法

知道你们不想看那些步骤,我直接上代码吧

import requests
import parsel
import re
import concurrent.futures
import time
import warnings

# 取消警告
warnings.filterwarnings("ignore")


def get_html(url):
    """发送请求获取网页源代码"""
    html_data = requests.get(url=url, verify=False).text
    return html_data


def parse_data_1(html_data):
    """第一次解析, 拿到所有的详情页链接"""
    selector = parsel.Selector(html_data)
    url_list = selector.xpath('//a[@class="meta-title"]/@href').getall()
    return url_list


def parse_data_2(html_data):
    """第二次解析, 获取视频链接"""
    video_url = re.findall('url: "(.*?)",', html_data)[0]
    return video_url


def save(video_url):
    """保存视频"""
    title = video_url.split('/')[-1]    # 取链接当中的字段作为标题
    video_data = requests.get(video_url, verify=False).content    # 发送网络请求
    with open(f'video/{title}', mode='wb') as f:
        f.write(video_data)
    print(title, "爬取成功!!!")

start_time = time.time()
url = 'https://www.520mmtv.com/hd/rewu.html'
# 1. 向目标网站发送请求
html_data = get_html(url=url)
# 2. 第一次解析数据 提取详情页链接
url_list = parse_data_1(html_data=html_data)
for info_url in url_list[:10]:
    # 3. 向详情页发送请求
    html_data_2 = get_html(url=info_url)
    # 4. 第二次解析数据 提取视频播放地址
    video_url = parse_data_2(html_data=html_data_2)
    # 5. 保存视频
    save(video_url=video_url)
print('花费时间:', time.time() - start_time)

点击全文阅读


本文链接:http://m.zhangshiyu.com/post/41204.html

模块  请求  解析  
<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 月亮近在咫尺小说无删减阅读无干扰(周既明高凌)番外+续集
  • 嫡姐抢亲,她转身嫁王爷夺江山后续(云七夕单连城)(嫡姐抢亲,她转身嫁王爷夺江山)整本畅享在线+无广告结局
  • 冒充新帝皇嫂,被强制爱了续集(冒充新帝皇嫂,被强制爱了)章节前文+全书阅读(冯幼萤萧仰)最新连载
  • 完结文假装失忆后,我终于才知道谁最爱我列表_完结文假装失忆后,我终于才知道谁最爱我(夏晚夏柠)
  • 商业联姻没感情,咦?不对劲!(黎夏贺聿琛)全书免费_(黎夏贺聿琛)商业联姻没感情,咦?不对劲!后续(黎夏贺聿琛)
  • 全球高武我的召唤兽画风清奇列表_全球高武我的召唤兽画风清奇(叶青青李娜)
  • 小妻不乖:坏坏老公,晚上见小说完本章节前文+全篇阅读(盛司珩沈繁星)连载中
  • 高分_他死后春风难渡(顾骁萧若姗)(他死后春风难渡)全本完整阅读
  • 替身新娘撕毁婚约后,冷情总裁红了眼(季凉城许清颜),替身新娘撕毁婚约后,冷情总裁红了眼
  • 将我妖丹剜给心上人后,他哭瞎双眼求我原谅(戚竹月慕轻尘)_将我妖丹剜给心上人后,他哭瞎双眼求我原谅戚竹月慕轻尘
  • 全民船娘我的船娘全是BUG级!(郑郝周航)_全民船娘我的船娘全是BUG级!郑郝周航
  • 为了青梅的安全感,男友选择跟我领假结婚证(洛卿程厉)_为了青梅的安全感,男友选择跟我领假结婚证

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1