介绍
本教学文章将详细介绍如何使用Python来爬取中国天气网（http://www.weather.com.cn/）的天气数据，包括当天和未来14天的天气信息。我们将通过具体的步骤和代码示例，演示如何使用requests库发起HTTP请求，以及使用BeautifulSoup库解析HTML文档，最后使用pandas和matplotlib进行数据清洗、处理和可视化。
细分步骤与详细代码
第一步：环境准备
确保你的Python环境已经安装了requests、BeautifulSoup、pandas、matplotlib等库。如果没有安装，可以通过pip安装：
pip install requests beautifulsoup4 pandas matplotlib第二步：确定数据来源
中国天气网的天气数据URL格式为：
当天数据:http://www.weather.com.cn/weather/城市编号.shtml未来14天数据: http://www.weather.com.cn/weather/城市编号15d.shtml 其中，“城市编号”可以替换为不同的城市编码，例如北京为101010100。
第三步：爬取数据
我们将编写Python函数来请求网页并获取HTML内容。
import requests from bs4 import BeautifulSoup def get_html(url): """请求网页并返回HTML内容""" try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' } response = requests.get(url, headers=headers, timeout=30) response.raise_for_status() return response.text except requests.RequestException as e: print(e) return None # 示例URL url_today = 'http://www.weather.com.cn/weather/101010100.shtml' url_14d = 'http://www.weather.com.cn/weather/10101010015d.shtml' html_today = get_html(url_today) html_14d = get_html(url_14d)第四步：解析HTML并提取数据
使用BeautifulSoup解析HTML，并提取所需的数据。
def parse_html(html): """解析HTML并提取天气数据""" if not html: return [] bs = BeautifulSoup(html, 'html.parser') # 假设这里我们只提取日期、天气、温度等基本信息 # 具体的解析方式需要根据实际HTML结构来编写 data = [] # 存储解析后的数据 # 这里是示例代码，具体实现需根据网页结构调整 # 例如，对于7天和14天的数据，可能需要分别处理 # 查找div标签id为'7d'或'15d' # 提取7天数据示例 # div_7d = bs.find('div', {'id': '7d'}) # 遍历ul和li标签提取数据 # 提取当天数据示例 # 可能需要解析嵌套的script标签中的JSON数据 # 这里假设你已经知道如何提取数据，并存储在data列表中 # 示例：data.append([日期, 天气, 最高温, 最低温, ...]) return data # 解析数据 data_today = parse_html(html_today) data_14d = parse_html(html_14d)第五步：数据清洗与处理
使用pandas对数据进行清洗和处理，如去除重复数据、处理缺失值等。
import pandas as pd # 假设data_today和data_14d已经按照预期格式提取了数据 df_today = pd.DataFrame(data_today, columns=['日期', '天气', '最高温', '最低温']) df_14d = pd.DataFrame(data_14d, columns=['日期', '天气', '最高温', '最低温']) # 数据清洗示例：去除空值 df_today.dropna(inplace=True) df_14d.dropna(inplace=True)第六步：数据可视化
使用matplotlib库对清洗后的数据进行可视化，以便更直观地了解天气变化。
import matplotlib.pyplot as plt # 绘制当天温度图 plt.figure(figsize=(10, 5)) plt.plot(df_today['日期'], df_today['最高温'], label='最高温', marker='o') plt.plot(df_today['日期'], df_today['最低温'], label='最低温', marker='x') plt.title('当天温度变化') plt.xlabel('日期') plt.ylabel('温度 (°C)') plt.legend() plt.grid(True) plt.show() # 绘制未来14天温度图（这里假设'日期'列是字符串，需要转换为日期类型以便排序） df_14d['日期'] = pd.to_datetime(df_14d['日期']) df_14d.sort_values(by='日期', inplace=True) plt.figure(figsize=(15, 7)) plt.plot(df_14d['日期'], df_14d['最高温'], label='最高温', marker='o') plt.plot(df_14d['日期'], df_14d['最低温'], label='最低温', marker='x') plt.title('未来14天温度变化') plt.xlabel('日期') plt.ylabel('温度 (°C)') plt.xticks(rotation=45) # 旋转x轴标签，避免重叠 plt.legend() plt.grid(True) plt.show()第七步：数据保存
将处理后的数据保存到CSV文件中，方便后续分析和使用。
# 保存数据到CSV文件 df_today.to_csv('weather_today.csv', index=False) df_14d.to_csv('weather_14d.csv', index=False)第八步：注意事项与扩展
反爬虫机制：在实际应用中，许多网站都设置了反爬虫机制，如限制访问频率、验证码等。如果遇到这些问题，可能需要使用代理IP、设置合适的请求头、使用Selenium等工具来模拟浏览器行为。
法律与道德：在爬取任何网站的数据之前，请确保你的行为符合相关法律法规以及网站的robots.txt文件规定。尊重网站的数据版权和隐私政策。
数据更新：天气数据是实时更新的，因此如果你需要获取最新数据，需要定期运行你的爬虫程序。
错误处理：在编写爬虫时，应添加适当的错误处理逻辑，如网络请求失败、HTML结构变化等情况下的异常处理。
数据扩展：除了基本的天气信息外，你还可以尝试爬取更多维度的数据，如空气质量、风向风速、湿度等，以满足不同的分析需求。
通过以上步骤，你可以成功使用Python爬取并分析中国天气网的天气数据。希望这篇文章对你有所帮助！
最后需要完整代码和Python全套学习籽料的伙计可以扫描下方CSDN官方微信二维码进行获娶：
