ETL需求

yanvdi

1.增量添加时条件位于sql外围效率很低； (select * from a where b>2021-01-01)where b>2021-08-01 2.增量更新无法选择范围 只能实现(select * from a where b>2021-01-01)where b>2021-08-01 无法实现(select * from a where b>2021-01-01)where b>2021-08-01 and b<2021-09-01

说的小谎.

1.已提交需求：功能需求 #1221，待研发部门审核。
2.已提交需求：功能需求 #1222，待研发部门审核。

后续研发部门回复后会在本回复下跟进最新动态。 谢谢您的宝贵建议。

yanvdi

说的小谎. 发表于 2021-8-30 16:30
1.已提交需求：功能需求 #1221，待研发部门审核。
2.已提交需求：功能需求 #1222，待研发部门审核。

第一个建议审核的怎么样，十分需求！

yanvdi

说的小谎. 发表于 2021-8-30 16:30
1.已提交需求：功能需求 #1221，待研发部门审核。
2.已提交需求：功能需求 #1222，待研发部门审核。

第一个建议审核的怎么样，十分需求！

admin

yanvdi 发表于 2021-9-13 01:45
第一个建议审核的怎么样，十分需求！

功能需求#1222反馈内容：沟通后，增量无需选择时间范围，增量判断数据是根据updateTime 字段直接查询过来新增和变化的数据，然后在数仓中根据主键字段 执行delete 语句，不是updat语句，然后把的新数据插入，这样就完成了增量，不会去遍历数仓的历史数据，没整个过程没有涉及到时间区间