PQ 网抓问题,带登录加 cookies 的网抓为什么还是无法抓取成功

Power Query 星梦月缘 ⋅ 于 2021-08-03 14:00:45 ⋅ 最后回复由 cnbubble 2024-02-15 13:08:03 ⋅ 1804 阅读

在遇到一个问题,想向各位老师请教下:集思录上的数据改版后现在是限制游客登录只能查看前30条数据 登录之后才能查看所有数据 之前我是可以正常用PQ抓取数据的 现在即使我把登录的cookie加进去 也发现还是只能抓取前30条记录 想请您有空了帮忙给看下 谢谢了

let
url="https://www.jisilu.cn/data/cbnew/cb_list/?___jsl=LST___t=1627788961010 ",
headers=[#"Content-Type"="application/x-www-form-urlencoded",Cookie="_ga=GA1.2.690178055.1594797259; Hm_lvt_164fe01b1433a19b507595a43bf58262=1624424906,1626445525; kbzw__Session=ljfkjed9skgp5u4fokoh3d16r2
"], //Content-Type必填,如不需要登录Cookie可省略
query=[],
content="fprice=&tprice=&curr_iss_amt=&volume=&svolume=&premium_rt=&ytm_rt=&rating_cd=&is_search=N&market_cd%5B%5D=shmb&market_cd%5B%5D=shkc&market_cd%5B%5D=szmb&market_cd%5B%5D=szcy&btype=&listed=Y&qflag=N&sw_cd=&bondids=&rp=50&page=1",
Source=Json.Document(Web.Contents(url,[Headers=headers,Query=query,Content=Text.ToBinary(content)])),
rows = Table.Combine(Table.FromList(Source[rows],each {Table.FromRecords({Record.FieldValues(
){1}})},{"t"})[t])
in
rows

回复数量: 1
  • cnbubble Excel、VBA、Power Query等
    2024-02-15 13:08:03

    可能是Cookie过期原因导致的,更新Cookie重新尝试。

    网页设计中用Cookie登录也会有期限,就比如你用网页登录后一个网址后,一段时间内这个网址能够记住你的登录状态,过几天再打开这个网页又会让你进行登录一样

暂无评论~~
  • 请务必阅读并严格遵守《社区管理规范与使用说明》
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,使用方法请见 发送表情,可用的 Emoji 见 :metal: :point_right: Emoji 列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板粘贴上传, 格式限制 - jpg, png, gif
  • 不支持上传附件,请尽可能用文字和图片将问题描述清楚,如实在需要上传附件,可上传到 共享网盘 后分享链接
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
  请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
Ctrl+Enter