文件夹组织的 CSV 文件,增量更新问题

Power Query 罗简单 ⋅ 于 2020-08-26 21:03:30 ⋅ 最后回复由 罗简单 2020-08-26 21:47:06 ⋅ 2137 阅读

背景:
假设每天产生多个csv文件(比如:上百),每天的数据量50万行,这些csv放在一个文件夹里,文件名称里面包含日期。
关于增量更新,两种思路:
1、上传至数据库
每天的数据清洗完成后,上传到数据库中,然后从文件夹中删除csv文件;展示端从数据库读取数据。
2、分表管理
PQ里两张表,一张主表,不刷新;一张对应每天的数据表,清洗完成后,手动追加到主表中,然后删除文件夹的csv文件。

除此之外,还有其他更好的方式吗?

罗简单

回复数量: 6
  • 罗简单 从业近二十年,长期服务于上市公司,负责企业信息化建设和商业智能分析。...
    2020-08-26 21:03:49

    【请教】@畅心 @Alex

  • 罗简单 从业近二十年,长期服务于上市公司,负责企业信息化建设和商业智能分析。...
    2020-08-26 21:04:04

    【请教】@畅心

  • 罗简单 从业近二十年,长期服务于上市公司,负责企业信息化建设和商业智能分析。...
    2020-08-26 21:04:18

    @畅心 请教

  • 畅心 你的问题其实爆照就能解决
    2020-08-26 21:05:40

    @罗简单 增量刷新你还想薅羊毛,哈哈哈,,,,

  • 畅心 你的问题其实爆照就能解决
    2020-08-26 21:06:40

    @罗简单 我听说有些数据库本地部署好自带增量刷新,,,

  • 罗简单 从业近二十年,长期服务于上市公司,负责企业信息化建设和商业智能分析。...
    2020-08-26 21:47:06

    @畅心 呵呵,有个朋友想薅,爬的数据用csv存,我建议他爬到数据库里。但想到csv也是一个问题,所以就问问大家。

暂无评论~~
  • 请务必阅读并严格遵守《社区管理规范与使用说明》
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,使用方法请见 发送表情,可用的 Emoji 见 :metal: :point_right: Emoji 列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板粘贴上传, 格式限制 - jpg, png, gif
  • 不支持上传附件,请尽可能用文字和图片将问题描述清楚,如实在需要上传附件,可上传到 共享网盘 后分享链接
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
  请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
Ctrl+Enter