feat: add D-InSAR source bundle distribution
This commit is contained in:
@@ -0,0 +1,168 @@
|
||||
# D-InSAR 去重源数据包反向还原工具任务书
|
||||
|
||||
日期：2026-05-11
|
||||
|
||||
## 背景
|
||||
|
||||
本系统新增“去重源数据包”分发模式。该模式不直接生成每个干涉对的 `Task_*` 目录，而是只分发唯一源影像、唯一精密轨道文件和配对关系文件，减少外部分发时的重复复制量。
|
||||
|
||||
反向还原工具由任务接收方本地运行，将去重源数据包还原为传统 D-InSAR `Task_*` 目录结构。
|
||||
|
||||
## 输入目录结构
|
||||
|
||||
```text
|
||||
BundleRoot/
|
||||
data/
|
||||
scene_<hash>_<source_name>/
|
||||
...
|
||||
orbit/
|
||||
orbit_<hash>_<orbit_name>.txt
|
||||
...
|
||||
pairs.json
|
||||
manifest.json
|
||||
```
|
||||
|
||||
`orbit/` 可能不存在，或 `pairs.json` 内某些配对的轨道字段为空。
|
||||
|
||||
## 输出目录结构
|
||||
|
||||
```text
|
||||
OutputRoot/
|
||||
Task_YYYYMMDD_YYYYMMDD/
|
||||
master/
|
||||
<master source product content>
|
||||
slave/
|
||||
<slave source product content>
|
||||
orbit/
|
||||
<master/slave orbit files, if present>
|
||||
.dinsar_pair.json
|
||||
```
|
||||
|
||||
输出目录名称优先使用 `pairs.json` 内的 `task_alias`，若为空则使用 `task_name`，再为空则使用 `pair_id`。
|
||||
|
||||
## pairs.json 关键字段
|
||||
|
||||
```json
|
||||
{
|
||||
"schema": "dinsar_source_bundle_pairs.v1",
|
||||
"exported_at": "2026-05-11T00:00:00Z",
|
||||
"pairs": [
|
||||
{
|
||||
"pair_id": "pair_0001",
|
||||
"identity_key": "uid:<scene_pair_uid>",
|
||||
"task_name": "Task_20250101_20250113",
|
||||
"task_alias": "Task_20250101_20250113",
|
||||
"master_source_path": "D:/Source/master",
|
||||
"slave_source_path": "D:/Source/slave",
|
||||
"master_scene_id": "scene_0001",
|
||||
"slave_scene_id": "scene_0002",
|
||||
"master_data": "data/scene_xxx_master",
|
||||
"slave_data": "data/scene_yyy_slave",
|
||||
"master_orbit_id": "orbit_0001",
|
||||
"slave_orbit_id": "orbit_0002",
|
||||
"master_orbit_source_path": "D:/Orbit/master.EOF",
|
||||
"slave_orbit_source_path": "D:/Orbit/slave.EOF",
|
||||
"master_orbit": "orbit/orbit_xxx.txt",
|
||||
"slave_orbit": "orbit/orbit_yyy.txt",
|
||||
"master_imaging_date": "20250101",
|
||||
"slave_imaging_date": "20250113",
|
||||
"time_baseline_days": 12
|
||||
}
|
||||
]
|
||||
}
|
||||
```
|
||||
|
||||
## 本系统分发续跑规则
|
||||
|
||||
去重源数据包支持向同一个 `BundleRoot` 多次分发：
|
||||
|
||||
- 每次启动时先读取目标目录内已有的 `pairs.json` 和 `manifest.json`。
|
||||
- 已导出的 pair 通过 `identity_key`、`scene_pair_uid/pair_uid`、`pair_key`、`network_run_id + network_edge_id`、`master/slave_source_path` 或 `master_data + slave_data` 识别。
|
||||
- 开启“每次最多追加新配对”时，系统会先跳过已导出的 pair，再从剩余 pair 中取下一批追加；例如 500 个 pair 第一次限制 100，第二次同一目录仍限制 100 时，会追加第 101-200 个未导出的 pair。
|
||||
- `data/` 和 `orbit/` 按源路径哈希命名，已有文件或目录在 `skip_existing` 开启时不会重复复制。
|
||||
- `pairs.json` 和 `manifest.json` 采用临时文件写入后原子替换，避免中途失败留下半写 JSON。
|
||||
|
||||
注意：如果用户手动删除了 `pairs.json`，系统无法再根据记录判断哪些 pair 已经分发，只能根据重新生成的 `data/` 路径做源数据级去重，pair 级续跑能力会丢失。
|
||||
|
||||
## 还原规则
|
||||
|
||||
1. 读取 `pairs.json`。
|
||||
2. 对每个 pair 创建目标 `Task` 目录。
|
||||
3. 将 `master_data` 指向的数据复制到 `Task/master/`。
|
||||
4. 将 `slave_data` 指向的数据复制到 `Task/slave/`。
|
||||
5. 如 `master_orbit` / `slave_orbit` 存在，将轨道文件复制到 `Task/orbit/`。
|
||||
6. 生成 `.dinsar_pair.json`，至少保留：
|
||||
- `pair_id`
|
||||
- `identity_key`
|
||||
- `task_name`
|
||||
- `task_alias`
|
||||
- `master_scene_id`
|
||||
- `slave_scene_id`
|
||||
- `master_data`
|
||||
- `slave_data`
|
||||
- `master_orbit_id`
|
||||
- `slave_orbit_id`
|
||||
- `master_orbit`
|
||||
- `slave_orbit`
|
||||
- `master_imaging_date`
|
||||
- `slave_imaging_date`
|
||||
- `time_baseline_days`
|
||||
- `restored_at`
|
||||
7. 每个 Task 应采用临时目录还原，全部成功后再重命名为最终目录，避免半成品。
|
||||
|
||||
## 覆盖策略
|
||||
|
||||
工具应提供参数：
|
||||
|
||||
- `--skip-existing`：默认开启。若目标 `Task/master` 和 `Task/slave` 均存在且非空，则跳过。
|
||||
- `--overwrite`：删除并重建已存在的目标 Task。
|
||||
- `--limit N`：最多还原 N 个 pair，便于分批执行。
|
||||
- `--dry-run`：只打印计划，不复制。
|
||||
|
||||
`--skip-existing` 与 `--overwrite` 同时出现时应报错。
|
||||
|
||||
## 校验要求
|
||||
|
||||
启动前：
|
||||
|
||||
- 检查 `pairs.json` 是否存在且可解析。
|
||||
- 检查 `data/` 是否存在。
|
||||
- 检查每个 pair 的 `master_data` / `slave_data` 是否存在。
|
||||
- 轨道缺失不应阻断还原，但要记录 warning。
|
||||
|
||||
还原后：
|
||||
|
||||
- `Task/master/` 非空。
|
||||
- `Task/slave/` 非空。
|
||||
- `.dinsar_pair.json` 存在。
|
||||
|
||||
## 日志与报告
|
||||
|
||||
工具结束后输出 `restore_report.json`：
|
||||
|
||||
```json
|
||||
{
|
||||
"started_at": "...",
|
||||
"finished_at": "...",
|
||||
"input_root": "...",
|
||||
"output_root": "...",
|
||||
"total_pairs": 20,
|
||||
"restored": 18,
|
||||
"skipped": 2,
|
||||
"failed": 0,
|
||||
"warnings": []
|
||||
}
|
||||
```
|
||||
|
||||
同时建议输出人类可读日志 `restore.log`。
|
||||
|
||||
## 建议实现
|
||||
|
||||
建议使用 Python 3.10+：
|
||||
|
||||
- `argparse` 处理命令行参数。
|
||||
- `pathlib.Path` 处理路径。
|
||||
- `shutil.copytree(..., dirs_exist_ok=True)` / `shutil.copy2()` 处理复制。
|
||||
- Windows 下注意长路径和权限异常。
|
||||
|
||||
该工具不需要连接本系统数据库，也不需要调用本系统 API。
|
||||
Reference in New Issue
Block a user