编写简单的爬虫架构

hupuNBA-spider

此项目为简单的爬虫架构

spider_main.py 爬虫调度程序

url_manager.py url管理器

html_downloader.py html下载器

html_parser.py html解析器

html_outputer.py html输出器

架构流程

项目GitHub链接