网抓 网址请求方式为 post,已找到数据,研究半天没成功抓取到。求解

Power Query 纯蓝 ⋅ 于 2018-11-28 16:54:37 ⋅ 最后回复由 绿夏 2019-09-19 17:54:24 ⋅ 3707 阅读

网址为:https://youhui.pinduoduo.com/search/landing?keyword=%E7%94%B7%E9%95%BF%E8%A2%96
已找到数据在XHR中。但没有From Data按钮。陷入僵局,求教。
file
file

成为第一个点赞的人吧 :bowtie:
最佳答案
  • Alex MOD 社区清洁工
    2018-11-28 17:58:43

    @纯蓝 content 格式不对,首先这是文本,最外面应该有引号,然后文本中本身的每个引号要写成两个引号

回复数量: 18
  • Alex MOD 社区清洁工
    2018-11-28 17:38:10

    最下面的 Request Payload 就是,点击 view source,复制粘贴到 content 里

  • 纯蓝
    2018-11-28 17:52:36

    @Alex 感谢大佬的回答,我是直接把参数都弄在一个函数里面 没有分段,下面是我的写法。复制之后 提示语法错误。Json.Document(Web.Contents("https://jinbao.pinduoduo.com/network/api/common/goodsList",[Headers=[#"content-type"="application/json; charset=UTF-8",#"cookie"="api_uid=rBQQsFt1ID+u4BImy70lAg==; _ga=GA1.2.6053262.1534402622; pt_691035c2=uid=NnkEldB-IuB59LzFCESY2A&nid=1&vid=OaxPJ3P/NRKxdBONLWsIXA&vn=1&pvn=1&sact=1534402621525&to_flag=0&pl=aJ61hpb1AYda8xpMq2/NOApt1534402621525",#"referer"="https://youhui.pinduoduo.com/search/landing?keyword=%E7%BE%8E%E7%9A%84%E6%B4%97%E8%A1%A3%E6%9C%BA",#"user-agent"="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Mobile Safari/537.36"],Content=Text.ToBinary({"keyword":"美的洗衣机","pageNumber":1,"pageSize":60})]))

  • Alex MOD 社区清洁工
    2018-11-28 17:58:43

    @纯蓝 content 格式不对,首先这是文本,最外面应该有引号,然后文本中本身的每个引号要写成两个引号

  • 纯蓝
    2018-11-28 18:01:58

    @Alex 完美解决,感谢大佬的耐心解答。

  • 绿夏
    2018-11-30 14:33:03

    @Alex 借楼求教,post 为日期的,content里怎么写啊?
    待post示例数据包:
    {
    "begin_date": "2014-12-02",
    "end_date": "2014-12-07"
    }
    已写的格式:
    content="begin_date=2014-12-02&end_date=2014-12-07",
    PQ提示:
    "errcode":61500,"errmsg":"date format error hint: [lH_JUA01171504]"}

  • Alex MOD 社区清洁工
    2018-11-30 15:21:16

    @绿夏 请仔细阅读 1L 的回复

  • 绿夏
    2018-11-30 16:11:50

    @Alex
    content="{""begin_date"":""2018-01-01"",""end_date"":""2018-11-07""}",
    content="""begin_date"":""2018-01-01"",""end_date"":""2018-11-07""",

    试了都不对

  • Alex MOD 社区清洁工
    2018-11-30 17:21:39

    @绿夏 网址呢?

  • 绿夏
    2018-11-30 17:29:01

    @Alex 没有直接访问看到数据的网址呢,我想获取,微信公众号每日用户增减的记录。

    https://api.weixin.qq.com/datacube/getusersummary?access_token=ACCESS_TOKEN

  • Alex MOD 社区清洁工
    2018-11-30 17:33:33

    @绿夏 你把 F12 截图发上来,还有高级编辑器里你写的代码

  • 绿夏
    2018-11-30 17:44:24

    @Alex 网页没有提供post看不到数据

    file

    file

  • Alex MOD 社区清洁工
    2018-11-30 17:45:43

    @绿夏 cookie 没填啊

  • 绿夏
    2018-11-30 17:47:18

    @Alex cookie应该可以不填,ACCESS_TOKEN这个应该是类似控制访问的动态密钥

  • Alex MOD 社区清洁工
    2018-11-30 17:48:00

    @绿夏 cookie 和 token 都要填

  • 绿夏
    2018-11-30 17:49:25

    @Alex cookie我找不到,浏览器登陆网址我进不去,提示需要post值

  • Alex MOD 社区清洁工
    2018-11-30 17:52:02

    @绿夏 那我也看不到,都不知道要哪里的数据,都有什么参数,帮不了你啦

  • geyee
    2019-09-05 18:15:14

    @绿夏 用户分析数据接口需要通过开发者中心页(微信公众平台=》开发=》接口权限)->用户管理下开通相应接口权限,但开通用户管理接口需要微信认证,微信认证个人公众号不给办(账号主体为个人), 否则返回48001全局返回码。试写自定义函数如下:

    (ACCESS_TOKEN)=>  
    let 
       bin=Web.Contents("https://api.weixin.qq.com/datacube/getusersummary?access_token="&ACCESS_TOKEN,[Content=Text.ToBinary(datejsontext)]),
        datejsontext = "{   ""begin_date"": ""2014-12-02"",   ""end_date"": ""2014-12-07"" }"
    in  
       Json.Document(bin)
  • 绿夏
    2019-09-19 17:54:24

    @geyee 谢谢大侠

暂无评论~~
  • 请务必阅读并严格遵守《社区管理规范与使用说明》
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,使用方法请见 发送表情,可用的 Emoji 见 :metal: :point_right: Emoji 列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板粘贴上传, 格式限制 - jpg, png, gif
  • 不支持上传附件,请尽可能用文字和图片将问题描述清楚,如实在需要上传附件,可上传到 共享网盘 后分享链接
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
  请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
Ctrl+Enter