背景: 假设每天产生多个csv文件(比如:上百),每天的数据量50万行,这些csv放在一个文件夹里,文件名称里面包含日期。 关于增量更新,两种思路: 1、上传至数据库 每天的数据清洗完成后,上传到数据库中,然后从文件夹中删除csv文件;展示端从数据库读取数据。 2、分表管理 PQ里两张表,一张主表,不刷新;一张对应每天的数据表,清洗完成后,手动追加到主表中,然后删除文件夹的csv文件。
除此之外,还有其他更好的方式吗?
罗简单
【请教】@畅心 @Alex
【请教】@畅心
@畅心 请教
@罗简单 增量刷新你还想薅羊毛,哈哈哈,,,,
@罗简单 我听说有些数据库本地部署好自带增量刷新,,,
@畅心 呵呵,有个朋友想薅,爬的数据用csv存,我建议他爬到数据库里。但想到csv也是一个问题,所以就问问大家。
`单行代码`
您的支持将鼓励我继续创作!
请使用微信扫描二维码。 如何开启打赏?