Python中怎么获取JS动态内容-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

Python中怎么获取JS动态内容

这篇文章给大家介绍Python中怎么获取JS动态内容,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

创新互联长期为上1000+客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为湘乡企业提供专业的成都网站建设、网站建设湘乡网站改版等技术服务。拥有十载丰富建站经验和众多成功案例,为您定制开发。

Python中怎么获取JS动态内容
网页的新闻在HTML源码中一条都找不到,全是由JS动态生成加载。
遇到这种情况,我们应该如何对网页进行爬取呢?有两种方法:
1、从网页响应中找到JS脚本返回的JSON数据;2、使用Selenium对网页进行模拟访问
在此只对第一种方法作介绍,关于Selenium的使用,后面有专门的一篇。

从网页响应中找到JS脚本返回的JSON数据

即使网页内容是由JS动态生成加载的,JS也需要对某个接口进行调用,并根据接口返回的JSON数据再进行加载和渲染。
所以我们可以找到JS调用的数据接口,从数据接口中找到网页中最后呈现的数据。
就以今日头条为例来演示:
 

1、从找到JS请求的数据接口

undefined
Python中怎么获取JS动态内容
undefined
undefined
undefined
undefined
Python中怎么获取JS动态内容
undefined
Python中怎么获取JS动态内容
undefined
undefined
undefined
Python中怎么获取JS动态内容

与首页的图片新闻呈现的数据是一样的,那么数据应该就在这里面了。
看看其他的链接:

Python中怎么获取JS动态内容


这应该是热搜关键词

Python中怎么获取JS动态内容


这个就是图片新闻下面的新闻了。
我们打开一个接口链接看看:http://www.toutiao.com/api/pc/focus/

Python中怎么获取JS动态内容


返回一串乱码,但从响应中查看的是正常的编码数据:

Python中怎么获取JS动态内容


有了对应的数据接口,我们就可以仿照之前的方法对数据接口进行请求和获取响应了

2、请求和解析数据接口数据


先上完整代码:

# coding:utf-8
import requests
import json

url = 'http://www.toutiao.com/api/pc/focus/'
wbdata = requests.get(url).text

data = json.loads(wbdata)
news = data['data']['pc_feed_focus']

for n in news:    
  title = n['title']    
  img_url = n['image_url']    
  url = n['media_url']    
  print(url,title,img_url)

返回出来的结果如下:

Python中怎么获取JS动态内容


照例,稍微讲解一下代码:
代码分为四部分,
第一部分:引入相关的库

# coding:utf-8
import requests
import json

第二部分:对数据接口进行http请求

url = ' 
wbdata = requests.get(url).text

第三部分:对HTTP响应的数据JSON化,并索引到新闻数据的位置

data = json.loads(wbdata)
news = data['data']['pc_feed_focus']

第四部分:对索引出来的JSON数据进行遍历和提取

for n in news:    
  title = n['title']    
  img_url = n['image_url']    
  url = n['media_url']    
  print(url,title,img_url)

关于Python中怎么获取JS动态内容就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


标题名称:Python中怎么获取JS动态内容
文章路径:http://kswsj.cn/article/jopooc.html

其他资讯