【数据爬取】国家知识产权局专利统计数据的自动化收集与整理（request+lxml+selenium实战）

1. 为什么需要自动化收集专利数据做数据分析的朋友们应该都深有体会最头疼的不是写代码分析数据而是前期收集整理数据的过程。就拿专利数据来说每次手动下载几十个Excel表格再一个个整理合并这种重复劳动不仅效率低下还容易出错。我去年接手一个专利分析项目时就遇到了这个痛点。需要收集2008年以来的专利统计数据包含专利申请、授权、有效和行政执法四大类每类下面又有十几个细分表格。如果手动操作至少要花两三天时间而且过程中稍不注意就可能漏掉某些数据。后来我发现用Python的requestslxmlselenium组合可以完美解决这个问题。整个流程从手动点击变成了全自动运行原本需要几天的工作现在一杯咖啡的时间就能搞定。更重要的是代码可以重复使用下次需要更新数据时直接运行脚本就行。2. 准备工作与环境搭建2.1 工具选择与对比在开始之前我们先了解下要用到的三个核心工具Requests一个简洁优雅的HTTP库用来发送网络请求获取网页内容。相比Python自带的urllib它的API更加人性化是我最常用的爬虫基础库。lxml一个高性能的HTML/XML解析库支持XPath语法。它的解析速度比BeautifulSoup快很多特别适合处理大量数据。我在实际测试中发现同样的解析任务lxml能比BeautifulSoup快3-5倍。Selenium浏览器自动化工具。当遇到动态加载的内容或者需要模拟点击操作时它就派上用场了。虽然运行速度比前两者慢但在处理复杂交互场景时无可替代。2.2 环境安装指南建议使用Python 3.7及以上版本。创建一个新的虚拟环境后安装以下依赖pip install requests lxml selenium对于Selenium还需要下载对应的浏览器驱动。以Chrome为例查看Chrome浏览器版本在地址栏输入chrome://version/下载对应版本的ChromeDriverhttps://chromedriver.chromium.org/将chromedriver.exe放在项目目录下或者添加到系统PATH中我推荐把驱动放在项目目录下这样部署到其他机器时更方便。记得把驱动路径保存到一个变量里后面会用到。3. 分析目标网站结构与数据3.1 网站页面结构解析国家知识产权局的统计年报页面结构很有规律以2018年为例主页面https://www.cnipa.gov.cn/tjxx/jianbao/year2018/子分类页面专利申请状况/a.html专利授权状况/b.html专利有效状况/c.html行政执法状况/h.html具体表格页面/a/a1.html, /a/a2.html等这种规律性结构特别适合程序化处理。我通过分析发现只需要改变URL中的年份和分类字母就能访问所有历史数据。3.2 数据获取策略选择最初我尝试直接解析HTML表格内容但遇到了几个问题表格结构不统一有的合并单元格有的表头跨多行数据清洗工作量大需要处理各种特殊情况代码难以复用每个表格都要单独写解析逻辑后来发现每个表格页面底部都有下载Excel按钮这简直是救命稻草转而采用Selenium模拟点击下载省去了繁琐的解析过程。实测下来这种方法稳定性更好代码也更简洁。4. 核心代码实现详解4.1 使用Requestslxml获取页面链接首先我们需要获取所有表格页面的URL。这里用到requests获取页面内容再用lxml解析出需要的链接import requests from lxml import etree headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) } def get_table_links(year, category): base_url fhttps://www.cnipa.gov.cn/tjxx/jianbao/year{year}/{category}.html response requests.get(base_url, headersheaders) tree etree.HTML(response.text) # 获取表格数量 tables tree.xpath(//table[contains(class, report-table)]) return len(tables)这个函数会返回指定年份和分类下的表格数量。比如想知道2018年专利申请状况有多少个表格就调用get_table_links(2018, a)。4.2 Selenium自动化下载Excel文件获取到表格数量后就可以用Selenium逐个访问并下载了。这里有几个关键点需要注意设置默认下载路径避免每次弹出保存对话框使用无头模式(headless)不显示浏览器窗口添加适当的等待时间确保页面加载完成from selenium import webdriver from selenium.webdriver.chrome.options import Options import time def setup_driver(download_dir): chrome_options Options() prefs { download.default_directory: download_dir, download.prompt_for_download: False } chrome_options.add_experimental_option(prefs, prefs) chrome_options.add_argument(--headless) driver webdriver.Chrome( executable_pathchromedriver.exe, optionschrome_options ) return driver def download_excel(year, category, table_num, driver): url fhttps://www.cnipa.gov.cn/tjxx/jianbao/year{year}/{category}/{category}{table_num}.html driver.get(url) # 等待页面加载 time.sleep(2) # 定位下载按钮并点击 download_btn driver.find_element_by_xpath(//a[contains(text(),Excel)]) download_btn.click() # 等待下载完成 time.sleep(3)4.3 完整流程整合把上面的功能整合起来实现批量下载import os def batch_download(start_year, end_year, output_dir): categories {a: 专利申请, b: 专利授权, c: 专利有效, h: 行政执法} for year in range(start_year, end_year 1): year_dir os.path.join(output_dir, str(year)) os.makedirs(year_dir, exist_okTrue) driver setup_driver(year_dir) for cat_code, cat_name in categories.items(): cat_dir os.path.join(year_dir, cat_name) os.makedirs(cat_dir, exist_okTrue) num_tables get_table_links(year, cat_code) for i in range(1, num_tables 1): download_excel(year, cat_code, i, driver) driver.quit()使用时只需要指定年份范围和输出目录batch_download(2008, 2022, ./patent_data)5. 实战中的常见问题与解决方案5.1 反爬机制应对策略国家知识产权局的网站反爬不算严格但还是有几个需要注意的地方请求频率控制虽然没遇到封IP的情况但建议在请求间添加随机延时我一般用time.sleep(random.uniform(1,3))。User-Agent轮换准备几个常见的UA字符串每次随机选择一个。代理设置虽然本项目不需要但在其他场景下可以准备代理IP池。user_agents [ Mozilla/5.0 (Windows NT 10.0; Win64; x64), Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7), Mozilla/5.0 (Linux; Android 10; SM-G960U) ] headers { User-Agent: random.choice(user_agents) }5.2 异常处理与日志记录在实际运行中可能会遇到网络波动、页面结构变化等问题。完善的异常处理能让程序更健壮import logging logging.basicConfig( filenamepatent_crawler.log, levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s ) def safe_download(year, cat_code, table_num, driver): try: download_excel(year, cat_code, table_num, driver) logging.info(f成功下载 {year}-{cat_code}-{table_num}) except Exception as e: logging.error(f下载失败 {year}-{cat_code}-{table_num}: {str(e)})5.3 性能优化技巧当需要爬取大量数据时效率就变得很重要。我总结了几点优化经验复用浏览器实例不要在每次下载时都新建浏览器而是在整个批次中复用同一个。并行处理可以使用多线程同时处理不同年份或分类的数据。但要注意控制并发数避免给服务器造成太大压力。断点续传记录已下载的文件下次运行时跳过已存在的部分。from concurrent.futures import ThreadPoolExecutor def parallel_download(years, categories): with ThreadPoolExecutor(max_workers4) as executor: for year in years: for cat in categories: executor.submit(process_category, year, cat)6. 数据整理与后续处理建议6.1 自动重命名下载文件默认下载的Excel文件名比较混乱我们可以用Python自动重命名import glob import shutil def rename_files(year_dir): categories {a: 专利申请, b: 专利授权, c: 专利有效, h: 行政执法} for cat_code, cat_name in categories.items(): cat_dir os.path.join(year_dir, cat_name) excel_files glob.glob(os.path.join(cat_dir, *.xlsx)) for i, file_path in enumerate(excel_files, 1): new_name f{cat_name}_{i}.xlsx new_path os.path.join(cat_dir, new_name) shutil.move(file_path, new_path)6.2 数据合并与分析有了原始数据后通常需要进一步处理数据清洗处理缺失值、统一格式等表格合并将多个Excel文件合并成一个数据分析使用pandas进行统计分析import pandas as pd def merge_excels(input_dir, output_file): all_data [] for excel_file in glob.glob(os.path.join(input_dir, *.xlsx)): df pd.read_excel(excel_file) all_data.append(df) merged_df pd.concat(all_data, ignore_indexTrue) merged_df.to_excel(output_file, indexFalse)7. 项目扩展与进阶思路这个基础框架可以扩展到更多场景定时自动更新用APScheduler设置定时任务每月自动获取最新数据。数据可视化配合Matplotlib或Pyecharts自动生成分析图表。构建数据库将数据存入MySQL或MongoDB方便长期管理和查询。Web应用集成用Flask或Django开发数据展示平台。from apscheduler.schedulers.blocking import BlockingScheduler def auto_update(): current_year datetime.now().year batch_download(current_year, current_year, ./latest_data) scheduler BlockingScheduler() scheduler.add_job(auto_update, cron, month12, day31) scheduler.start()在实际项目中我建议先从基础功能开始再逐步添加这些扩展功能。这样既能快速看到成果又能保持代码的可维护性。