信息

下载器中间件是介于Scrapy的request/response处理的钩子框架
是用于全局修改request和rsponse的一个轻量、底层的系统

激活下载器中间件

要激活下载器中间件组件，将其加入到setting.py的 DOWNLOADER_MIDDLEWARES设置中
这个设置是一个dict，键为中间件类的路径，值为其中间件的处理顺序

编写下载器中间件

编写下载器中间件十分简单
每个中间件组件是一个定义了以下一个或多个方法的Python类

process_request(request, spider)

当每个request通过下载中间件时，该方法被调用

此函数必须返回/抛出其中之一:

• 返回 None
• 返回一个 Response
• 返回一个 Request
• 抛出 IgnoreRequest

返回 None

Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用， 该request被执行(其response被下载)

返回一个 Response

这个Response将作为最终的Response返回。不会再将它传给其他的中间件的process_request()
这个Response，会像普通的Response一样。传给每一个中间件的process_response()方法进行处理

返回一个 Request

Scrapy停止调用 process_request方法并重新调度返回的request。当新返回的request被执行后， 相应地中间件链将会根据下载的response被调用

抛出 IgnoreRequest

中间件的process_exception()方法会被调用
如果没有任何一个方法处理该异常， 则request的errback(Request.errback)方法会被调用
如果没有代码处理抛出的异常， 则该异常被忽略且不记录

process_response(request, response, spider)

此函数必须返回以下之一:

• 返回一个Response对象
• 返回一个 Request 对象
• 抛 IgnoreRequest 异常

返回一个 Response

(可以与传入的response相同，也可以是全新的对象)
该response会被在链中的其他中间件的 process_response()方法处理，直到所有中间件处理完就返回

需要注意的是，虽然是需要返回scrapy.http.Response对象，但这个类并不能直接返回
如果想要返回，需要用继承这个类的对象的实例来返回
官方有一些预设的继承类，如：scrapy.http.TextResponse、scrapy.http.HtmlResponse

返回一个 Request 对象

中间件链停止，返回的request会被重新调度下载

抛出一个 IgnoreRequest 异常

调用request的errback(Request.errback)
如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)

process_exception(request, exception, spider)

当 下载处理器 或 下载中间件 抛出异常(包括IgnoreRequest异常)时，会调用process_exception()

process_exception() 应该返回以下之一:

• 返回 None
• 一个 Response 对象
• 一个 Request 对象

返回 None

Scrapy将会继续处理该异常，接着调用已安装的其他中间件的 process_exception()方法，直到所有中间件都被调用完毕，则调用默认的异常处理。

返回一个 Response 对象

已安装的中间件链的process_response()方法被调用。Scrapy将不会调用任何其他中间件的process_exception() 方法

返回一个 Request 对象

返回的request将会被重新调用下载。这将停止中间件的 process_exception()方法执行，就如返回一个response的那样

简单样例

class ResponseHtmlBackupDownloaderMiddleware:
    '''
    对响应html进行备份，下次请求相同的路径，则直接读文件，不进行爬虫
    request.meta['BackupHTML']=Ture时启用
    '''
    def process_request(self, request, spider):
        if not request.meta.get('BackupHTML'):
            return None
        
        file_path = 'resources/response/{}.html'.format(get_string_md5(request.url))
        if exists(file_path):
            with open(file_path, 'r', encoding='utf-8')as f:
                html = f.read()
            return TextResponse(url=request.url, body=html.encode('utf-8'), encoding='utf-8', request=request)
    
    def process_response(self, request, response, spider):
        if request.meta.get('BackupHTML'):
            file_path = 'resources/response/{}.html'.format(get_string_md5(request.url))
            with open(file_path, 'w', encoding='utf-8')as f:
                f.write(response.text)
        return response

这个是我自己写的非常简单的中间件
process_request方法对请求进行判断。如果记录的Html已经保存在本地，那么从本地读取文件，不进行爬虫
process_response方法对响应进行判断。如果需要备份则保存Html到本地
因为所有 请求/响应 都会经过中间件，但并非所有的 请求/响应 都需要进行备份。所以在开头添加request.meta判断

官方中间件下载

Github地址：https://github.com/scrapy/scrapy/tree/master/scrapy/downloadermiddlewares
你能够在这里查看到官方给出的一些下载中间件
中间件包括失败重试，代理等一些实用的功能