Python数据采集：从入门到实践

一、数据采集概述

数据采集（Web Scraping）是通过自动化工具从网站提取结构化信息的技术。Python凭借丰富的第三方库成为数据采集的首选语言。

二、常用Python库

1. Requests

python
import requests
response = requests.get('https://example.com')
print(response.text)

• 功能：发送HTTP请求
• 安装：pip install requests

2. Beautiful Soup

python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.title.text)

• 功能：HTML/XML解析
• 安装：pip install beautifulsoup4

3. Scrapy

• 分布式爬虫框架
• 安装：pip install scrapy

4. Selenium

• 浏览器自动化工具
• 支持动态网页采集

三、基础实现步骤

1. 目标分析：研究网站结构和数据位置
2. 发送请求：通过HTTP获取网页内容
3. 解析数据：提取目标信息
4. 数据存储：保存到CSV/数据库
5. 反爬处理：设置请求头/代理/IP池

四、实战案例：采集新闻标题

python
import requests
from bs4 import BeautifulSoup

url = 'https://news.example.com'
headers = {'User-Agent': 'Mozilla/5.0'}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')

for title in soup.select('.news-title'):

print(title.text.strip())

五、注意事项

• 遵守robots.txt协议
• 设置合理请求间隔（建议3-5秒）
• 处理异常状态码
• 使用代理服务防止IP封禁
• 注意法律风险和道德边界