Description:
proxydatascrapy 0.0.2b0
proxydata-scrapy
Расширение для проксирования запросов пауков scrapy через сервис proxyfordevelopers.com
Установка
Установка с помощью pip
pip install proxydata-scrapy
Либо скопируйте middleware класс PFDDownloaderMiddleware в файл middlewares.py своего проекта
Добавьте расширение в переменную DOWNLOADER_MIDDLEWARES в settings.py вашего проекта.
Так-же для корретной работы необходимо отключить middlewares RobotsTxtMiddleware и HttpCompressionMiddleware
Добавьте переменную PFD_TOKEN в settings.py вашего проекта.
Для получения токена вам необходимо зарегистрироваться в сервисе proxyfordevelopers
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': None,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': None,
'proxydata_scrapy.middlewares.PFDDownloaderMiddleware': 800,
}
PFD_TOKEN = 'xyz'
Использование
При необходимости передачи дополнительных параметров в API proxyfordevelopers.com используйте переменную cb_kwargs класса scrapy.http.Request
Например:
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
def start_requests(self):
cb_kwargs = {
'proxy_type': 1,
'js_enabled': True,
'country': 'RU',
'protocol': 1
}
for url in self.start_urls:
yield Request(url, dont_filter=True, cb_kwargs=cb_kwargs)
License
For personal and professional use. You cannot resell or redistribute these repositories in their original state.
Customer Reviews
There are no reviews.
