网抓深化提取 Excel 文件数据问题

Power Query ⋅ jack ⋅ 于 2019-12-10 10:19:05 ⋅ 最后回复由 jack 于 2019-12-12 13:04:45 ⋅ 2245 阅读

let
url="http://basic.10jqka.com.cn/api/stock/export.php",
query=[export="main",type="report",code="600519"],
A=Excel.Workbook(Web.Contents(url, [Query=query]), null, true),
Worksheet = A{[Name="Worksheet"]}[Data]
in
Worksheet

网址：http://stockpage.10jqka.com.cn/600519/finance/#finance
网址中的下载链接：http://basic.10jqka.com.cn/api/stock/export.php?export=main&type=report&code=600519
file
file

如图二所示，如果从图一中的网页直接下载excel文件，第一栏是有文字指标列的，但是如果使用顶部语句抓取，就没有这一列，我猜是不是因为本身是xls格式，所以excel.workbook主要适用于xlsx格式引起的？请大神指教，是我哪里写的不对吗，谢谢啦

点赞
成为第一个点赞的人吧 :bowtie:
最佳答案
  • 畅心
    畅心 你的问题其实爆照就能解决
    2019-12-12 12:55:58

    头在这里，哈哈，，，

    Web.Page(Web.Contents("http://basic.10jqka.com.cn/600519/finance.html#stockpage")){0}[Data]
回复数量: 4
时间 投票
  • geyee
    geyee
    ⋅ 2019-12-12 01:39:07

    不使用M语言的Excel.Workbook解析，而使用OLE DB查询或者Microsoft Query一样得到77列的数据(列名F1至F77)，不包含对应excel表的首列，末列为null列/空列。经测试，可排除文档被锁定（ads备选数据流问题）而导致的无法读取第一列的问题。文件头d0cf11e0a1b11ae1，符合excel的格式。
    file

    搜索知First Column of excel file not reading oledb reader in window application, excel file data not reading，然而并无合适的解答。另一个帖子First Column not returning while reading excel sheet using oledb reader也没有满意的答复。Stackoverflow上的其他类似帖子也未找到终极答案。

    我们在使用PowerBIDesktop时，可能会遇到提示安装AccessDatabaseEngine_X64以能解析早期2003版本的excel文件的情况。由此，猜测使用Excel.Workbook函数时，调用了'Microsoft.ACE.OLEDB.12.0' provider，但其没能正确地解析表格。虽然可以使用excel打开再另存一下相应文件就可以正确解析，但那是另一个问题了（参看当 powerquery 遇上受保护的视图？）。附一个可能有用的链接Dynamic Excel file loading with SSIS。

    题主没有写错，是Excel自身的问题（需要更好的复合文档解析引擎），xlsx比xls更容易解析。基本可看成php导出为xls文件，ole db查询无法解析其首列的问题。

  • jack
    jack
    ⋅ 2019-12-12 11:04:18

    @geyee 多谢g老师指点迷津，顺带也学到了好多思考方法~

  • 畅心
    畅心 你的问题其实爆照就能解决
    ⋅ 2019-12-12 12:55:58

    头在这里，哈哈，，，

    Web.Page(Web.Contents("http://basic.10jqka.com.cn/600519/finance.html#stockpage")){0}[Data]
  • jack
    jack
    ⋅ 2019-12-12 13:04:45

    @畅心 论坛真是高手云集啊

暂无评论~~
  • 请务必阅读并严格遵守《社区管理规范与使用说明》
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情，使用方法请见 发送表情，可用的 Emoji 见 :metal: :point_right: Emoji 列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板粘贴上传, 格式限制 - jpg, png, gif
  • 不支持上传附件，请尽可能用文字和图片将问题描述清楚，如实在需要上传附件，可上传到 共享网盘 后分享链接
  • 发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空
  请勿发布不友善或者负能量的内容。与人为善，比聪明更重要！
Ctrl+Enter

作者：jack


jack 的其他话题

分类下其他话题

社区公告