对比两个大数据的表格时,PP 运行速度非常慢,怎么破解,刷新一次需要 300 多秒

Power Pivot 星梦月缘 ⋅ 于 2018-09-04 15:35:39 ⋅ 最后回复由 Singham 2018-09-07 21:41:16 ⋅ 2716 阅读

各位大神好:
我需要比对两个表的数据差异,表一和表二结构是一样呢,内容绝大部分相同,只有个别不同,我需要进行对比这两个表找出差异部分的内容。
我初步做了一个表格模型,由于表一和表二数量比较多有2万行58列的数据内容,我先用PQ进行数据清洗,删除不需要的列,清洗过之后是2万行20列的内容,清洗过之后直接进入PP内部模型。同时通过表一客户和表二客户号汇总去重构建唯一客户号的表三 ,也同时导入模型。
最后在模型中,用表三为主表,建立索引关系,从表一取一个数值,然后再从表二取一个数值,最后两个相减 得到差异 如此取数值了十几项 都是很简单的操作,十几项全部对应并相减之后,再生成数据透视表。但是由于每天都要更新数据,更新一次都需要300多秒,运行特别卡,有时候会直接卡死,想寻找有没有高效一点的核对方法。
用的公式都很简单 都是related 对应值过来 然后两个数值相减 so-上日结存= RELATED(v6so[上日结存]) s-上日结存 RELATED(v6s[上日结存]) 上日结存差额=ABS([so-上日结存]-[s-上日结存])
跪求大神给指点指点,比对两个表的差异,有没有什么更高校的方法!跪求指点下,简单说下大概的比对思路,非常感谢。

成为第一个点赞的人吧 :bowtie:
回复数量: 4
  • 焦棚子 微软 MVP
    2018-09-06 14:49:17

    你这问题,用pp来做对比很麻烦。用的办法有点怪。
    建议用数据库思维的主键思维来做对比吧。
    来个附件会好些,敲这么多字。

  • 你还是叫我大铁吧
    2018-09-06 15:31:42

    file
    这是我的思路 你可以参考一下 我做的查寻表 为了防止客户明细维度遗漏 应该有类似思维

  • 湛蓝碧空 SEM从业人员
    2018-09-07 11:54:44

    试试不用计算列,而改用计算字段
    建立一个计算字段,Sum_上日结存差额:=ABS(sum('v6so'[上日结存])-sum('v6s'[上日结存]))
    透视的时候把这个Sum_上日结存差额丢进去 因为你实际上就是想知道这个差值是否大于0 那你用计算字段可以减少很多的计算量。完全没必要建立那么多的计算列。

  • Singham
    2018-09-07 21:41:16

    用pq合并查询功能不行吗?

暂无评论~~
  • 请务必阅读并严格遵守《社区管理规范与使用说明》
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,使用方法请见 发送表情,可用的 Emoji 见 :metal: :point_right: Emoji 列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板粘贴上传, 格式限制 - jpg, png, gif
  • 不支持上传附件,请尽可能用文字和图片将问题描述清楚,如实在需要上传附件,可上传到 共享网盘 后分享链接
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
  请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
Ctrl+Enter