如何使用scrapy+splash+Lua滚动爬取CSDN，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。
成都创新互联公司服务项目包括银州网站建设、银州网站制作、银州网页制作以及银州网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，银州网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到银州省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！
这个主要是为了使用splash，做的
CSDN爬的数据频繁以后好像会自动504，开始正文：
安装scrapy,安装splash需要安装docker，详细的安装步骤在我的csdn博客
https://blog.csdn.net/zhao_5352269/article/details/82850496
打开csdn，会发现csdn的文章是随着你鼠标滑动向下加载的
如果就只用scrapy框架爬的话，就是只有当前显示的内容
而我们需要滑动以后的内容，就需要splash了，当然是用selnium也是可以的
安装完splash以后，启动服务，在页面访问
点击Examples,再继续选择Scroll page,就会出现改脚本，点击render me，就会直接运行，返回你所需的东西.默认的url可能会有点慢，直接复制csdn的地址，在运行，
可以将所有的都截取加上，详细见官方文档https://splash.readthedocs.io
splash：set_viewport_full - 更改视口大小（在 splash：png或 splash：jpeg之前调用它 ）以获取整个页面的屏幕截图;
将图片保存，这样就实现在splash中滑动的效果
接下来就是在scrapy框架中，使用splash了。
将刚才的脚本复制到爬虫中（微信这个有问题，不能全部显示，一会发源码）
script = """
function main(splash, args)
splash:go(args.url)
local scroll_to = splash:jsfunc("window.scrollTo")
scroll_to(0, 1000)
splash:set_viewport_full()
splash:wait(10)
return {html=splash:html()}
end
"""复制过来没有全部显示
然后再使用SplashRequest中的args传递参数,也可以使用Scrapy.Request使用meta传递参数
yield SplashRequest(nav_url, endpoint='execute', args={'lua_source': script, 'url': nav_url}在对setting进行设置（必须）
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware':723,
'scrapy_splash.SplashMiddleware':725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,#不配置查不到信息
# 'Technology.middlewares.TechnologyDownloaderMiddleware': 543,
}HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
SPLASH_URL = "http://192.168.99.100:8050" #自己安装的docker里的splash位置
DUPEFILTER_CLASS = "scrapy_splash.SplashAwareDupeFilter"
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'执行代码
看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。
