课题组 DataLibrary 入库指南
适用于公共库一、公共库二的新数据和新增版本。参考既有数据包规范整理,供课题组审阅。历史资料按实际状态记录,缺什么就注明什么。
提交完整数据包
| 随包材料 | 应保存的内容 |
|---|---|
README.md 与 00_docs/ |
产品名称、版本、上传者、入库日期、用途、推荐引用、许可证或共享限制。说明实际覆盖、已知缺口、校验状态和阅读入口。 |
| 来源与变量说明 | 官方产品页、DOI 或准确请求、获取时间、文件清单。保存可取得的手册、QA 定义、元数据和引用资料。变量说明包括单位、坐标系、空间和时间分辨率、填充值、比例因子及质量标志。 |
| 原始与加工文件 | 原始数据保留供应方文件名,和加工成果分开保存。整套多变量产品按完整数据包归位。中间文件仅在复现所需时随包保留。 |
| 代码、配置与环境 | 保存本次实际用到的下载、校验、处理和出图脚本,以及配置、依赖版本、运行命令和日志。加工包把可运行快照放在 00_docs/04_processing_scripts/<run_id>/,把输入清单、精确命令或人工步骤和操作记录放在 00_docs/02_provenance/runs/<run_id>/。同时记录上游数据包和版本。凭据留在私有配置中。 |
| 清单与验收记录 | 列出归档对象的相对路径、字节数、SHA-256 和内容角色。在说明中给出预期与实际文件数、缺项和各项检查结果。 |
脚本快照要包含本次运行用到的修改。链接和提交号可用于追溯,实际执行的代码和配置也要随包保存。对于直接接收、没有自行加工的原始产品,保留实际获取与检查记录即可。无法取得的历史脚本标为“缺失”或“待补”。
分开做三种校验
- 供应方校验。 有供应方提供的 MD5、SHA-256、CKSUM 或文件大小时,按供应方规定的算法、对象和预期值检查,保存原验证资料和实算结果。压缩包与解压后的文件分别记录。供应方未提供校验值时标为“未提供”。
- 入库文件清单。 给拟归档的数据、文档、代码和配置生成 SHA-256,标明清单本身及随后生成的验收报告等排除项。检查文件能打开,格式、变量和时空覆盖与说明相符,记录具体读取范围。下载残片和错误响应留在暂存区。
- 目标端复核。 传输后从归档位置重新读回,对照文件清单核对路径、数量、大小和 SHA-256,记录差异并处理。抽样检查写明样本范围。清单核对回答文件是否完整到达,科学验证另记适用性、方法和结果。
加工数据的额外材料
保存输入版本、参数、软件环境、步骤和输出的对应关系。做了镶嵌、重投影、空间拼接等操作时,核对 CRS、网格范围、行列数、分辨率、数据类型、NoData 及适用的数值检查。随成果附对应 JPG 预览,标明变量和时间。经纬度预览按实际范围用 0.1° × 0.1°,全球数据画面为 3600 × 1800 像素。
归位、登记与版本更新
- 提交和交接先用
TransferHub。准备好数据包与验证记录后,按科学主题放入DataLibrary对应分类。归属暂不明确时,记录待确认状态。按规定整理中的散放文件可在现有Unclassed查找。 - 入库记录写明稳定的数据包标识、产品与处理版本、实际归档位置、上传者、来源、入库日期和当前状态。已复制、目标端复核通过、资料齐备、正式登记、科学验证分别填写。资料有缺项时如实记录。
- 补年份、使用新产品版本或改处理流程时,记录此次变化、上游版本和验证结果。保留历史版本和对应运行快照。归档验收与清理分别办理。