中国理财网,https://www.chinawealth.com.cn/lcweb/management/proScreen ,也不是要爬全部数据,只是爬几个知道代码的数据每天的变化情况,因为自己不同银行购买的,看起来麻烦。
最近改版后就不知道怎么爬了,技术特点:
1. 网站采用了一个复杂的 js 文件进行混淆和加密,所有网页的查询请求都先调用 js 文件进行加密后,作为 form data 进行提交。
2. 如果采用 playwright 网页模拟点击来操作呢,他界面上好多数据都隐藏了,网页隐含调用/lcw-fe-service/prodInfo/getProductDetail 这个接口返回的 json 数据不知道怎么读取。
以上解决任何一个问题都可以,请大家帮忙给个思路
最近改版后就不知道怎么爬了,技术特点:
1. 网站采用了一个复杂的 js 文件进行混淆和加密,所有网页的查询请求都先调用 js 文件进行加密后,作为 form data 进行提交。
2. 如果采用 playwright 网页模拟点击来操作呢,他界面上好多数据都隐藏了,网页隐含调用/lcw-fe-service/prodInfo/getProductDetail 这个接口返回的 json 数据不知道怎么读取。
以上解决任何一个问题都可以,请大家帮忙给个思路