网络资源爬取代码分享

爬取网络资源的Python代码示例以下代码使用requests和BeautifulSoup库实现合法网络资源的爬取适用于数据收集和统计。确保目标网站允许爬取参考robots.txt文件。import requests from bs4 import BeautifulSoup import pandas as pd def scrape_legal_data(url, output_filedata.csv): try: headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 检查请求是否成功 soup BeautifulSoup(response.text, html.parser) # 示例提取网页中的标题和链接根据实际需求修改选择器 data [] for item in soup.select(a[href]): # 假设抓取所有链接 title item.get_text(stripTrue) link item[href] if title and link.startswith(http): data.append({Title: title, URL: link}) # 保存为CSV文件 df pd.DataFrame(data) df.to_csv(output_file, indexFalse) print(f数据已保存至 {output_file}) except requests.exceptions.RequestException as e: print(f请求失败: {e}) # 使用示例替换为允许爬取的合法网站 target_url https://example.com # 替换为目标网站 scrape_legal_data(target_url)注意事项遵守法律法规仅爬取公开且允许爬取的数据查看目标网站的robots.txt如https://example.com/robots.txt。避免高频请求添加延时如time.sleep(2)。数据存储规范敏感数据需匿名化处理。禁止存储个人隐私或商业机密信息。扩展功能建议使用Scrapy框架处理复杂爬取任务。添加代理IP池应对反爬机制需合法来源。替代方案使用API若目标网站提供公开API如政府开放数据平台优先调用API而非爬取import requests api_url https://api.example.com/data response requests.get(api_url) data response.json() # 直接获取结构化数据免责声明实际使用时需自行确保符合目标网站条款及当地法律法规。