网抓数据访问太频繁就会被封 IP 如何解决

Power Query JohnsonHwang ⋅ 于 2020-09-30 16:51:39 ⋅ 113 阅读

如果访问太频繁就会被封IP,那么可以在自定义函数外面嵌套Function.InvokeAfter,设置每爬一次停顿个5秒。
比如= Function.InvokeAfter(()=>1+1,#duration(0,0,0,5)),这个要怎么写

以下为我写的网抓sina财经上市公司利润表的函数
(id as text,p as number) as table =>

let
Source = Web.Page(Web.Contents("https://money.finance.sina.com.cn/corp/go.php/vFD_ProfitStatement/stockid/"&id&"/ctrl/" & (Number.ToText(p)) & "/displaytype/4.phtml")),
Data8 = Source{8}[Data],

"Added Index" = Table.AddIndexColumn(Data8, "Index", 0, 1)

in

"Added Index"

成为第一个点赞的人吧 :bowtie:
回复数量: 0
    暂无评论~~
    • 请务必阅读并严格遵守《社区管理规范与使用说明》
    • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
    • 支持表情,使用方法请见 发送表情,可用的 Emoji 见 :metal: :point_right: Emoji 列表 :star: :sparkles:
    • 上传图片, 支持拖拽和剪切板粘贴上传, 格式限制 - jpg, png, gif
    • 不支持上传附件,请尽可能用文字和图片将问题描述清楚,如实在需要上传附件,可上传到 共享网盘 后分享链接
    • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
      请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
    Ctrl+Enter