摘要：在这个被数据洪流裹挟的时代，谁能高效获取有价值的数据，谁就抢占了先机。不管你是想为数据分析挖掘素材，还是为学术研究搜集资料，又或是单纯探索网络世界的奥秘，Python静态爬虫都是你的神兵利器。接下来，就带你全方位、深层次地解锁Python静态爬虫，从白纸新手一
在这个被数据洪流裹挟的时代，谁能高效获取有价值的数据，谁就抢占了先机。不管你是想为数据分析挖掘素材，还是为学术研究搜集资料，又或是单纯探索网络世界的奥秘，Python静态爬虫都是你的神兵利器。接下来，就带你全方位、深层次地解锁Python静态爬虫，从白纸新手一路飙升为实战大神，赶紧跟上这趟干货满满的技术快车！
静态爬虫堪称抓取静态网页内容的“超级特工”。这类网页就像一本摊开的书，所有的数据都明明白白地写在HTML源代码里，不需要像动态网页那样还得等待JavaScript“翻译”或者经历复杂的动态加载流程。它的工作模式简单直接，先向目标网页精准发送HTTP请求，就像敲门要东西，拿到网页的HTML文本后，再利用解析库这位“数据侦探”，把我们想要的数据一一找出来。相比于动态爬虫，静态爬虫就像是短跑健将，实现难度低，速度还快，大多数常规网页的数据采集任务，它都能轻松搞定，简直是爬虫界的“实用担当”。
requests库：请求界的全能高手
requests库堪称发送HTTP请求的“武林高手”，以简洁易用称霸江湖。它精通十八般武艺，支持GET、POST、PUT、DELETE等各种请求类型。你可以轻松操控请求头，给它戴上不同的“面具”，还能自如设置参数和Cookies，就像给它配上各种趁手的“暗器”，让你和网页服务器之间的交互毫无障碍，获取网页内容更是手到擒来。
import requests
response = requests.get('https://example.com')
if response.status_code == 200:
html_content = response.text
BeautifulSoup库：HTML解析的温柔魔法师
BeautifulSoup库宛如一位温柔的魔法师，专门攻克HTML和XML文档。它轻轻一挥魔法棒，就能把复杂的HTML文档变成井然有序的树形结构，让你可以按照标签名、类名、ID这些“魔法标记”，轻松定位和提取数据。它的API就像简单的咒语，新手也能快速上手，轻松施展数据提取的魔法。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
title = soup.find('title').text
lxml库：解析界的速度与精准之王
lxml库是基于C语言打造的高效HTML和XML解析库，堪称解析界的“闪电侠”。它速度极快，还支持XPath表达式这个“定位神器”，能让你更灵活、更精准地在网页数据的海洋里定位和提取数据。要是你在处理大规模数据，或者对解析性能要求极高，那lxml库绝对是你的不二之选，帮你在数据战场上大杀四方。
from lxml import etree
tree = etree.HTML(html_content)
data = tree.xpath('//div[@class="content"]/text')
分析目标网页：寻找数据宝藏的地图
这可是爬虫开发的关键首步，就好比寻找宝藏前得先绘制地图。你得确定要抓取的数据藏在HTML页面的哪个角落，这时候浏览器的开发者工具（比如Chrome的DevTools）就派上大用场了，它就像一个透视镜，能帮你看清网页的HTML结构，轻松找到包含目标数据的标签及属性。比如你想抓取新闻标题，它可能就藏在
这个“小盒子”里；要是抓取商品价格，也许就在这个“秘密口袋”中。发送HTTP请求：敲响数据大门的敲门砖
利用requests库发送请求，这就像是拿着敲门砖去敲网页的数据大门。记住，一定要添加合适的请求头，尤其是User - Agent，它就像你的“伪装身份”，模拟真实浏览器访问，避免被网站的反爬虫“保安”无情拦截。
import requests
headers = {
'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)
解析网页内容：挖掘数据宝藏的工具
拿到网页内容后，就轮到BeautifulSoup或lxml库大显身手了，它们是你挖掘数据宝藏的得力工具。要是用BeautifulSoup，通过find、find_all这些“寻宝技能”，按标签、类名等线索查找元素；要是选择lxml库，结合XPath表达式这个“精准寻宝雷达”，能更高效、更精准地定位数据。
# BeautifulSoup解析
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('div', class_='item')
# lxml解析
from lxml import etree
tree = etree.HTML(response.text)
items = tree.xpath('//div[@class="item"]')
保存数据：收藏宝藏的保险箱
最后，把提取的数据保存起来，这就像把宝藏放进保险箱。你可以选择CSV、TXT、JSON这些“保险箱款式”，或者存入数据库这个“大型宝库”。使用pandas库能轻松将数据保存为CSV文件；要是存入数据库，就得根据不同数据库类型，挑选相应的连接和操作库，比如用mysql - connector - python连接MySQL数据库 。
import pandas as pd
data = [{'title': '标题1', 'price': 100}, {'title': '标题2', 'price': 200}]
df = pd.DataFrame(data)
df.to_csv('data.csv', index=False)
准备工作：踏上寻宝之旅前的筹备
• 目标网址：https://movie.douban.com/top250 ，这可是电影爱好者心中的“宝藏地图”。
• 目标数据：电影名称、评分、引言，这些数据就像宝藏里的珍珠、钻石和宝石。
• 工具准备：搭建好Python环境这个“工作台”，安装好requests、BeautifulSoup、pandas库这些“趁手工具”。
代码实现：开启寻宝行动
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 爬取一个页面的数据
def scrape_page(url):
headers = {
"User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
movies =
for item in soup.find_all("div", class_="item"):
title = item.find("span", class_="title").text
rating = item.find("span", class_="rating_num").text
quote = item.find("span", class_="inq").text if item.find("span", class_="inq") else "N/A"
movies.append({"Title": title, "Rating": rating, "Quote": quote})
return movies
# 主程序：爬取多页
def main:
base_url = "https://movie.douban.com/top250?start={}"
all_movies =
for i in range(0, 250, 25): # 每页25部电影
url = base_url.format(i)
print(f"Scraping: {url}")
movies = scrape_page(url)
all_movies.extend(movies)
# 保存为CSV文件
df = pd.DataFrame(all_movies)
df.to_csv("douban_top250.csv", index=False)
print("Scraping complete! Data saved to douban_top250.csv")
if __name__ == "__main__":
main
代码说明：解读寻宝秘籍
1. 发送请求：在scrape_page函数里，requests库带着精心伪装的User - Agent头信息，像个秘密特工一样发送GET请求，成功获取网页内容。
2. 解析数据：BeautifulSoup库如同寻宝专家，用find_all方法找到所有藏着电影信息的宝箱，再用find方法精准取出电影名称、评分和引言这些宝藏。
3. 保存数据：main函数就像宝藏收集总管，循环调用scrape_page函数爬取多页数据，把所有电影信息宝藏都存进列表，最后用pandas库这个“保险箱制造机”将数据保存为CSV文件。
准备工作：为数据采集行动做准备
• 目标网址：http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html ，这是高校数据的“资源宝库”。
• 目标数据：高校排名、学校名称、省市、总分，这些数据对了解高校情况至关重要。
• 工具准备：准备好Python环境和requests库这个“采集先锋”。
代码实现：数据采集行动开始
import requests
import re
# 请求URL
url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"
# 请求头部
headers = {
"User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
# 解析页面函数
def parse_html(html):
pattern = re.compile(
'.*?(.*?).*?.*?(.*?).*?(.*?).*?(.*?).*?',
re.S
)
items = re.findall(pattern, html)
for item in items:
yield {
"排名": item[0],
"学校名称": item[2],
"省市": item[3],
"总分": item[4]
}
# 保存数据函数
def save_data:
f = open("university_top100.TXT", "w", encoding="utf-8")
response = requests.get(url, headers=headers)
for item in parse_html(response.text):
f.write(str(item) + "\n")
f.close
if __name__ == "__main__":
save_data
代码说明：解读数据采集密码
1. 发送请求：requests库带着伪装好的User - Agent发送GET请求，成功进入网页获取内容。
2. 解析数据：通过精心编写的正则表达式这个“数据解码器”，匹配网页中包含高校信息的表格行，精准提取排名、学校名称、省市和总分。
3. 保存数据：将提取的数据逐行写入TXT文件这个“数据仓库”。
知识有了，案例有了，橘味猫姐姐相信你已经成功掌握了Python静态爬虫的基本开发流程。但爬虫世界博大精深，后续你还可以深入研究处理反爬虫机制，突破网站的重重防御；提高爬取效率，在数据的海洋里更快地遨游；完善数据存储，让你的数据宝藏更安全、更有序。
赶紧行动起来，用Python静态爬虫开启你的数据探索之旅吧！
来源：绿叶菜
