为什么抓取内网系统数据，在 header 里已经添加了 cookie 信息，提交 URL 的时候仍然转到了登录页面

Power Query ⋅ Riley ⋅ 于 2019-10-25 16:06:49 ⋅ 最后回复由 xiahaishangshan 于 2023-07-12 20:52:04 ⋅ 2583 阅读

file

登录系统并找到cookie后填入了header，但仍然跳转到了登录页面，导致无法进入正确页面获取数据，获取数据要翻700多页，每月都要这么做的话，实在难以完成，请大家指点下问题所在，跪谢！

成为第一个点赞的人吧

最佳答案

geyee
2019-11-09 23:43:00
搜索“ASP.NET_SessionId”关键词了解到asp.net页面维持机制有 Session, Cookie, ViewState等。可以先测试下直接针对查询页面的Cookie访问是否可行。下列步骤需要替换网址及Cookie--
```
let 
    Source= Web.Contents("http://localhost/Default.aspx", [  Headers=[Cookie="ASP.NET_SessionId=h2gy3solpc3134q1n3grv1kt" ]]),
    parse_data=Text.FromBinary(Source)
in 
    parse_data
```
再看看查询时是否需要__VIEWSTATE、__VIEWSTATEGENERATOR等参数，如需要，是要编码放到Content里的（post的web请求）。

回复数量: 12

Riley
⋅ 2019-10-26 13:53:51

尝试了把所有header信息都写进去，再提交，结果提示Upgrade-Insecure-Requests这个标识符非法。但是IE本身也就不支持这个标识符，为什么没有影响结果返回呢？
Ntt docomo
⋅ 2019-10-30 08:52:54

找IT给你数据库访问权限更方便
geyee
⋅ 2019-11-09 23:43:00
搜索“ASP.NET_SessionId”关键词了解到asp.net页面维持机制有 Session, Cookie, ViewState等。可以先测试下直接针对查询页面的Cookie访问是否可行。下列步骤需要替换网址及Cookie--
```
let 
    Source= Web.Contents("http://localhost/Default.aspx", [  Headers=[Cookie="ASP.NET_SessionId=h2gy3solpc3134q1n3grv1kt" ]]),
    parse_data=Text.FromBinary(Source)
in 
    parse_data
```
再看看查询时是否需要__VIEWSTATE、__VIEWSTATEGENERATOR等参数，如需要，是要编码放到Content里的（post的web请求）。
Excel-幼儿园
⋅ 2019-11-13 10:10:14

遇到同样的问题，是GET方式。
Excel-幼儿园
⋅ 2019-11-13 10:11:03

高手帮忙@Ntt docomo @畅心 @飞天篮球 @焦棚子
Dot1x 哈撒欸
⋅ 2019-11-13 16:33:38

你先用post调试工具（postman等），测试一下，能不能正确返回数据
xiaobai
⋅ 2019-11-15 15:37:08

反爬了
Riley
⋅ 2019-12-23 10:40:43

用Web.Page(Text.FromBinary(Web.Content()))就直接获取到了内容，没有Text.FromBinary就不行，非常奇怪，但是真的可以，佩服，谢谢
xiahaishangshan 活着真好
⋅ 2023-07-12 20:31:27

妈呀根本学不会
xiahaishangshan 活着真好
⋅ 2023-07-12 20:45:38

看来得好好补补课了
xiahaishangshan 活着真好
⋅ 2023-07-12 20:46:42

妈呀根本学不会