yanvdi 发表于 2021-8-25 06:03:45

ETL需求


1.增量添加时条件位于sql外围效率很低；
(select * from a where b>2021-01-01)where b>2021-08-01

2.增量更新无法选择范围
只能实现(select * from a where b>2021-01-01)where b>2021-08-01
无法实现(select * from a where b>2021-01-01)where b>2021-08-01 and b<2021-09-01

说的小谎. 发表于 2021-8-30 16:30:50

1.已提交需求：功能需求 #1221，待研发部门审核。
2.已提交需求：功能需求 #1222，待研发部门审核。

后续研发部门回复后会在本回复下跟进最新动态。 谢谢您的宝贵建议。

yanvdi 发表于 2021-9-13 09:45:15

说的小谎. 发表于 2021-8-30 16:30
1.已提交需求：功能需求 #1221，待研发部门审核。
2.已提交需求：功能需求 #1222，待研发部门审核。



第一个建议审核的怎么样，十分需求！

yanvdi 发表于 2021-9-28 14:40:55

说的小谎. 发表于 2021-8-30 16:30
1.已提交需求：功能需求 #1221，待研发部门审核。
2.已提交需求：功能需求 #1222，待研发部门审核。



第一个建议审核的怎么样，十分需求！

admin 发表于 2022-1-7 17:34:05

yanvdi 发表于 2021-9-13 01:45
第一个建议审核的怎么样，十分需求！

功能需求#1222反馈内容：沟通后，增量无需选择时间范围，增量判断数据是根据updateTime 字段直接查询过来新增和变化的数据，然后在数仓中根据主键字段 执行delete 语句，不是updat语句，然后把的新数据插入，这样就完成了增量，不会去遍历数仓的历史数据，没整个过程没有涉及到时间区间
页: [1]
查看完整版本: ETL需求