{reportConfig.version}
{reportConfig.title}
{reportConfig.subtitle}
RoRD-Layout-Recognation 致力于通过深度改造 RoRD (Rotation-Robust Descriptors) 模型,构建一套对 IC 版图模板具备高精度、低延迟、零/少样本能力的识别系统,为设计-工艺协同优化 (DTCO) 提供自动化支撑。
1.1 项目目标
- 高精度模板匹配: 在复杂版图中准确定位所有模板实例及其 8 种方向与尺度。
- 高效率推理能力: 针对大尺寸 GDSII 版图实现近实时匹配,加速工业落地。
- 零/少样本泛化: 支持新模板的快速识别,减少大规模标注依赖。
- 标准化研发流程: 构建数据准备、训练、调参与评估的完整可复现实验管线。
1.2 主要困难与挑战
- 数据稀缺: 高质量标注版图昂贵且难获取,限制了监督式方法。
- 几何多变: 模板存在旋转与镜像的全方向变化,要求描述子具备高度鲁棒性。
- 结构复杂: 版图呈现曼哈顿网格、二值稀疏特征与大量重复结构,区别于自然图像。
- 快速演进: 工艺与 IP 库持续更新,模型需具备持续适配能力。
{phase.title}
{phase.period}{phase.summary}
-
{phase.highlights.map(point => (
- • {point} ))}
3.1 模型架构:从 VGG 到 FPN
模型采用残差网络骨干,并行关键点检测头与描述子生成头。通过引入特征金字塔网络 (FPN),实现单次前向即可获得多尺度特征 (P2 / P3 / P4)。
- 横向连接: 将 backbone 的 C2 / C3 / C4 特征映射至统一通道数。
- 自顶向下融合: 通过上采样与逐层平滑构建金字塔,避免尺度偏移。
- 共享头部: 在各层共享检测头与描述子头,提升效率与一致性。
3.2 核心创新:几何感知损失函数
为了引导模型学习几何结构而非纹理,我们构建了检测损失与描述子损失的复合体系:
- Ltriplet: 采用 L1 范数的几何 Triplet Loss,突出旋转一致性。
- Lmanhattan: 约束 90° 旋转后的描述子一致,解决重复结构混淆。
- Lsparse: 稀疏化正则抑制空白区域噪声。
- Lbinary: 基于符号的一致性,强化几何边界表达。
3.3 训练策略:自监督与稳定性
- 自监督框架: 通过随机几何变换自动生成 (original, rotated, H) 训练对,完全摆脱人工标注。
- 数据增强: 组合尺度抖动、Sobel 边缘增强、亮度对比度调整、高斯噪声等策略。
- 稳定性机制: 采用梯度裁剪、早停与 ReduceLROnPlateau 学习率调度,确保训练可控。
3.4 推理与匹配:高效的多实例检测
推理阶段利用 FPN、多尺度关键点提取、半径 NMS 与 RANSAC,实现快速稳定的多实例匹配。
- extract_from_pyramid: 一次性提取所有尺度的关键点与描述子。
- radius_nms: 基于关键点分数与空间距离过滤重复点。
- MNN + RANSAC: 先进行互最近邻匹配,再利用 RANSAC 估计单应矩阵并剔除外点。
- 多实例循环: 针对每个模板实例迭代匹配,逐步屏蔽已检测区域。
3.5 工程化:配置驱动与实验追踪
- YAML 配置中心: 使用
OmegaConf统一管理configs/base_config.yaml,实现参数解耦与一键复现实验。 - 模块化代码: 数据集 (
data/)、损失函数 (losses.py)、模型 (models/) 与工具 (utils/) 独立维护。 - TensorBoard 集成: 训练、评估、匹配脚本均写入关键指标,支持端到端可视化与对比分析。
当前核心能力
- 多实例检测: 可在大型版图中准确定位同一模板的多个实例。
- 旋转鲁棒性: 对 0°-360° 旋转和镜像变换具备稳定识别能力。
- 高效推理: FPN 将传统图像金字塔的多次推理精简为单次前向。
- 可视化评估: Precision / Recall / F1 指标及调参记录全部纳入 TensorBoard。
预期量化目标
- 精度: 已训练模板或相似风格验证集 F1 ≥ 95%。
- 速度: 百万门级版图、单模板匹配时间控制在 1 分钟内 (V100 / A100)。
- 鲁棒性: 对轻微线宽变化、金属填充差异保持稳定识别效果。
- 可扩展性: 直接匹配新模板时仍保持 ≥ 85% F1,无需重新训练。
5.1 技术优化路线图
{block.title}
-
{block.items.map(item => (
- • {item} ))}
5.2 学术产出与论文计划
论文核心贡献点
- 首次将旋转鲁棒局部特征 (RoRD) 引入 IC 版图识别,并验证其在工业场景下的有效性。
- 提出面向版图几何的复合损失体系,显著提升二值稀疏、重复结构的描述能力。
- 融合 FPN + NMS 等现代技术,将匹配效率与多实例检测性能提升到实用级别。
A. 项目结构
B. 快速使用指南
推荐使用 uv 管理虚拟环境,按以下步骤启用训练与推理:
C. 数据集要求
- 训练数据: 仅需大量无标注 PNG 版图,依靠自监督生成训练对。
- 验证数据: 提供模板图、版图图与描述模板位置的 JSON 标注。
JSON 标注示例: