482 lines
17 KiB
Markdown
482 lines
17 KiB
Markdown
# RoRD: 基于 AI 的集成电路版图识别
|
||
|
||
[//]: # (徽章占位符：您可以根据需要添加构建状态、版本号等徽章)
|
||
|
||
|
||
|
||
## ⚡ Quick Start（含合成数据与H校验）
|
||
|
||
```bash
|
||
# 一键生成→渲染→预览→H校验→写回配置（开启合成混采与 Elastic）
|
||
uv run python tools/synth_pipeline.py \
|
||
--out_root data/synthetic \
|
||
--num 50 \
|
||
--dpi 600 \
|
||
--config configs/base_config.yaml \
|
||
--ratio 0.3 \
|
||
--enable_elastic \
|
||
--validate_h --validate_n 6
|
||
```
|
||
|
||
提示：zsh 下使用反斜杠续行时，确保每行末尾只有一个 `\` 且下一行不要粘连参数（避免如 `6uv` 这样的粘连）。
|
||
|
||
可选：为 KLayout 渲染指定图层配色/线宽/背景（示例：金属层绿色、过孔红色、黑底）
|
||
```bash
|
||
uv run python tools/layout2png.py \
|
||
--in data/synthetic/gds --out data/synthetic/png --dpi 800 \
|
||
--layermap '1/0:#00FF00,2/0:#FF0000' --line_width 2 --bgcolor '#000000'
|
||
```
|
||
|
||
## 📖 描述
|
||
|
||
本项目实现了 **RoRD (Rotation-Robust Descriptors)** 模型，这是一种先进的局部特征匹配方法，专用于集成电路（IC）版图的识别。
|
||
|
||
IC 版图在匹配时可能出现多种方向（0°、90°、180°、270° 及其镜像），RoRD 模型通过其**几何感知损失函数**和**曼哈顿结构优化**的设计，能够有效应对这一挑战。项目采用**几何结构学习**而非纹理学习的训练策略，专门针对 IC 版图的二值化、稀疏性、重复结构和曼哈顿几何特征进行了深度优化。
|
||
|
||
👉 增量报告与性能分析见：`docs/reports/Increment_Report_2025-10-20.md`
|
||
|
||
### ✨ 主要功能
|
||
|
||
* **模型实现**：基于 D2-Net 思路，使用 PyTorch 实现了适用于 IC 版图的 RoRD 模型，**专门针对几何结构学习优化**；支持可切换骨干（`vgg16` / `resnet34` / `efficientnet_b0`）。
|
||
* **数据加载**：提供了自定义的 `ICLayoutDataset` 类，用于加载光栅化的 IC 版图图像，支持**曼哈顿几何感知采样**。
|
||
* **训练脚本**：通过**几何感知损失函数**训练模型，学习**几何结构描述子**而非纹理特征，确保对二值化、稀疏性、重复结构的鲁棒性。
|
||
* **评估脚本**：可在验证集上评估模型性能，**专门针对IC版图特征**计算几何一致性指标。
|
||
* **匹配工具**：支持 FPN 多尺度推理与滑窗两种路径，并提供半径 NMS 去重；可直接输出多实例匹配结果。
|
||
* **灵活配置与日志**：引入 OmegaConf 驱动的 YAML 配置 (`configs/*.yaml`)，配合 `utils.config_loader` 与 TensorBoard 监控实现参数/路径集中管理。
|
||
* **性能工具**：提供 FPN vs 滑窗的对标脚本与多骨干 A/B 基准脚本，便于快速评估速度/显存与精度。
|
||
|
||
## 🛠️ 安装
|
||
|
||
### 环境要求
|
||
|
||
* Python 3.8 或更高版本
|
||
* CUDA (可选, 推荐用于 GPU 加速)
|
||
|
||
### 依赖安装
|
||
|
||
**使用 uv（推荐）：**
|
||
```bash
|
||
# 安装 uv（如果尚未安装）
|
||
pip install uv
|
||
|
||
# 安装项目依赖
|
||
uv sync
|
||
```
|
||
|
||
**使用 pip：**
|
||
```bash
|
||
pip install -e .
|
||
```
|
||
|
||
## 🚀 使用方法
|
||
|
||
### 📁 项目结构
|
||
|
||
```
|
||
RoRD-Layout-Recognation/
|
||
├── configs/
|
||
│ └── base_config.yaml # YAML 配置入口
|
||
├── data/
|
||
│ └── ic_dataset.py # 数据集与数据接口
|
||
├── docs/
|
||
│ ├── data_description.md
|
||
│ ├── feature_work.md
|
||
│ ├── loss_function.md
|
||
│ └── NextStep.md
|
||
├── models/
|
||
│ └── rord.py # RoRD 模型与 FPN，多骨干支持
|
||
├── utils/
|
||
│ ├── config_loader.py # YAML 配置加载与路径转换
|
||
│ ├── data_utils.py
|
||
│ └── transforms.py
|
||
├── losses.py # 几何感知损失集合
|
||
├── train.py # 训练脚本（YAML + TensorBoard）
|
||
├── evaluate.py # 评估脚本
|
||
├── match.py # 模板匹配脚本（FPN / 滑窗 + NMS）
|
||
├── tests/
|
||
│ ├── benchmark_fpn.py # FPN vs 滑窗性能对标
|
||
│ ├── benchmark_backbones.py # 多骨干 A/B 前向基准
|
||
│ ├── benchmark_attention.py # 注意力 none/se/cbam A/B 基准
|
||
│ └── benchmark_grid.py # 三维基准：Backbone × Attention × Single/FPN
|
||
├── config.py # 兼容旧流程的 YAML 读取 shim
|
||
├── pyproject.toml
|
||
└── README.md
|
||
```
|
||
|
||
### 🧩 配置与模块化更新
|
||
|
||
- **YAML 配置中心**：所有路径与超参数集中存放在 `configs/*.yaml`，通过 `utils.config_loader.load_config` 统一解析；CLI 的 `--config` 参数可切换实验配置，`to_absolute_path` 则保证相对路径相对配置文件解析。
|
||
- **旧配置兼容**：`config.py` 现在仅作为兼容层，将 YAML 配置转换成原有的 Python 常量，便于逐步迁移历史代码。
|
||
- **损失与数据解耦**：`losses.py` 汇总几何感知损失，`data/ic_dataset.py` 与 `utils/data_utils.py` 分离数据准备逻辑，便于扩展新的采样策略或损失项。
|
||
|
||
# 5. 运行 A/B 基准（骨干、注意力、三维网格）
|
||
PYTHONPATH=. uv run python tests/benchmark_backbones.py --device cpu --image-size 512 --runs 5
|
||
PYTHONPATH=. uv run python tests/benchmark_attention.py --device cpu --image-size 512 --runs 10 --backbone resnet34 --places backbone_high desc_head
|
||
PYTHONPATH=. uv run python tests/benchmark_grid.py --device cpu --image-size 512 --runs 3 --backbones vgg16 resnet34 efficientnet_b0 --attentions none se cbam --places backbone_high desc_head
|
||
- **日志体系**：`logging` 配置节配合 TensorBoard 集成，`train.py`、`evaluate.py`、`match.py` 可统一写入 `log_dir/子任务/experiment_name`。
|
||
- **模型配置扩展**：
|
||
- `model.backbone.name`: `vgg16 | resnet34 | efficientnet_b0`
|
||
- `model.backbone.pretrained`: 是否加载 ImageNet 预训练
|
||
- `model.attention`: `enabled/type/places`（默认关闭，可选 `cbam` / `se`）
|
||
- `model.fpn`: `enabled/out_channels/levels`
|
||
|
||
## 🚀 使用方法
|
||
|
||
### 📋 训练准备清单
|
||
|
||
在开始训练前，请确保完成以下准备：
|
||
|
||
#### 1. 数据准备
|
||
- **训练数据**：准备PNG格式的布局图像（如电路板布局、建筑平面图等）
|
||
- **数据目录结构**：
|
||
```
|
||
your_data_directory/
|
||
├── image1.png
|
||
├── image2.png
|
||
└── ...
|
||
```
|
||
|
||
#### 2. 配置文件修改
|
||
项目默认从 `configs/base_config.yaml` 读取训练、评估与日志参数。建议复制该文件并按实验命名，例如：
|
||
|
||
```bash
|
||
cp configs/base_config.yaml configs/exp_ic_baseline.yaml
|
||
```
|
||
|
||
在 YAML 中修改路径与关键参数：
|
||
|
||
```yaml
|
||
paths:
|
||
layout_dir: "数据集/训练图像目录"
|
||
save_dir: "输出目录（模型与日志）"
|
||
val_img_dir: "验证集图像目录"
|
||
val_ann_dir: "验证集标注目录"
|
||
template_dir: "模板图像目录"
|
||
|
||
training:
|
||
num_epochs: 50
|
||
batch_size: 8
|
||
learning_rate: 5.0e-5
|
||
|
||
logging:
|
||
use_tensorboard: true
|
||
log_dir: "runs"
|
||
experiment_name: "baseline"
|
||
```
|
||
|
||
> 保留 `config.py` 仅用于兼容旧版脚本；新流程全部通过 YAML + `utils.config_loader` 载入配置。
|
||
|
||
#### 3. 环境检查
|
||
确保已正确安装所有依赖：
|
||
```bash
|
||
python -c "import torch; print('PyTorch version:', torch.__version__)"
|
||
python -c "import cv2; print('OpenCV version:', cv2.__version__)"
|
||
```
|
||
|
||
### 🎯 开始训练
|
||
|
||
#### 基础训练
|
||
```bash
|
||
uv run python train.py --config configs/exp_ic_baseline.yaml
|
||
```
|
||
|
||
上述命令将读取 `configs/exp_ic_baseline.yaml` 中的路径和训练参数；若未指定 `--config`，脚本会回落到 `configs/base_config.yaml`。
|
||
|
||
#### 自定义训练参数
|
||
```bash
|
||
uv run python train.py \
|
||
--config configs/exp_ic_baseline.yaml \
|
||
--data_dir /override/layouts \
|
||
--save_dir /override/models \
|
||
--epochs 60 \
|
||
--batch_size 16 \
|
||
--lr 1e-4
|
||
```
|
||
|
||
#### 查看所有可用参数
|
||
```bash
|
||
python train.py --help
|
||
```
|
||
|
||
### 📊 训练监控
|
||
训练过程中会在 `SAVE_DIR` 目录下生成：
|
||
- 日志文件：`training_YYYYMMDD_HHMMSS.log`
|
||
- 最佳模型：`rord_model_best.pth`
|
||
- 最终模型：`rord_model_final.pth`
|
||
|
||
### 📈 TensorBoard 实验追踪
|
||
|
||
`configs/base_config.yaml` 中新增的 `logging` 区块用于控制 TensorBoard：
|
||
|
||
```yaml
|
||
logging:
|
||
use_tensorboard: true # 是否启用 TensorBoard 记录
|
||
log_dir: "runs" # 日志根目录（相对/绝对路径均可）
|
||
experiment_name: "default" # 实验名称，将作为子目录名
|
||
```
|
||
|
||
需要临时覆盖时，可在命令行传入参数（以下命令均可用 `uv run` 直接执行）：
|
||
|
||
```bash
|
||
uv run python train.py --log_dir logs --experiment_name exp001
|
||
uv run python evaluate.py --log_dir logs --experiment_name exp001
|
||
uv run python match.py --tb_log_matches --log_dir logs --experiment_name exp001
|
||
uv run python train.py --disable_tensorboard # 如需关闭记录
|
||
```
|
||
|
||
执行训练、评估或模板匹配后，通过下列命令启动 TensorBoard：
|
||
|
||
```bash
|
||
uv run tensorboard --logdir runs
|
||
```
|
||
|
||
TensorBoard 中将展示：
|
||
|
||
- `train.py`：损失、学习率、梯度范数等随时间变化曲线；
|
||
- `evaluate.py`：精确率 / 召回率 / F1 分数；
|
||
- `match.py`（配合 `--tb_log_matches`）：每个匹配实例的内点数量、尺度和总检测数量。
|
||
|
||
### 🚀 快速开始示例
|
||
```bash
|
||
# 1. 安装依赖
|
||
uv sync
|
||
|
||
# 2. 复制并编辑 YAML 配置
|
||
cp configs/base_config.yaml configs/exp_ic_baseline.yaml
|
||
# 根据数据路径与实验需求调整 paths/training/logging 字段
|
||
|
||
# 3. 开始训练
|
||
uv run python train.py --config configs/exp_ic_baseline.yaml
|
||
|
||
# 4. 使用训练好的模型进行匹配
|
||
uv run python match.py --config configs/exp_ic_baseline.yaml \
|
||
--model_path ./output/rord_model_final.pth \
|
||
--layout ./test/layout.png \
|
||
--template ./test/template.png \
|
||
--output ./result.png
|
||
```
|
||
|
||
### 4. 模板匹配
|
||
```bash
|
||
python match.py --model_path /path/to/your/models/rord_model_final.pth \
|
||
--layout /path/to/layout.png \
|
||
--template /path/to/template.png \
|
||
--output /path/to/result.png
|
||
```
|
||
|
||
### 5. 评估模型
|
||
```bash
|
||
python evaluate.py --model_path /path/to/your/models/rord_model_final.pth \
|
||
--val_dir /path/to/val/images \
|
||
--annotations_dir /path/to/val/annotations \
|
||
--templates_dir /path/to/templates
|
||
```
|
||
|
||
## 📦 数据准备
|
||
|
||
### 训练数据
|
||
|
||
* **格式**: PNG 格式的 IC 版图图像，可从 GDSII 或 OASIS 文件光栅化得到。
|
||
* **要求**: 数据集应包含多个版图图像，建议分辨率适中（例如 1024x1024）。
|
||
* **存储**: 将所有训练图像存放在一个目录中（例如 `path/to/layouts`）。
|
||
|
||
### 验证数据
|
||
|
||
* **图像**: PNG 格式的验证集图像，存储在指定目录（例如 `path/to/val/images`）。
|
||
* **模板**: 所有模板图像存储在单独的目录中（例如 `path/to/templates`）。
|
||
* **标注**: 真实标注信息以 JSON 格式提供，文件名需与对应的验证图像一致，并存储在指定目录（例如 `path/to/val/annotations`）。
|
||
|
||
JSON 标注文件示例：
|
||
```json
|
||
{
|
||
"boxes": [
|
||
{"template": "template1.png", "x": 100, "y": 200, "width": 50, "height": 50},
|
||
{"template": "template2.png", "x": 300, "y": 400, "width": 60, "height": 60}
|
||
]
|
||
}
|
||
```
|
||
|
||
## 🧠 模型架构 - IC版图专用优化版
|
||
|
||
RoRD 模型基于 D2-Net 架构，使用 VGG-16 作为骨干网络，**专门针对IC版图的几何特征进行了深度优化**。
|
||
|
||
### 网络结构创新
|
||
* **检测头**: 用于检测**几何边界关键点**，输出二值化概率图，专门针对IC版图的黑白边界优化
|
||
* **描述子头**: 生成 128 维的**几何结构描述子**，而非纹理描述子，具有以下特性：
|
||
- **曼哈顿几何感知**: 专门针对水平和垂直结构优化
|
||
- **重复结构区分**: 能有效区分相同图形的不同实例
|
||
- **二值化鲁棒性**: 对光照变化完全不变
|
||
- **稀疏特征优化**: 专注于真实几何结构而非噪声
|
||
|
||
### 核心创新 - 几何感知损失函数
|
||
**专为IC版图特征设计**：
|
||
- **曼哈顿一致性损失**: 确保90度旋转下的几何一致性
|
||
- **稀疏性正则化**: 适应IC版图稀疏特征分布
|
||
- **二值化特征距离**: 强化几何边界特征，弱化灰度变化
|
||
- **几何感知困难负样本**: 基于结构相似性而非像素相似性选择负样本
|
||
|
||
## 🔎 推理与匹配（FPN 路径与 NMS）
|
||
|
||
项目已支持通过 FPN 单次推理产生多尺度特征，并在匹配阶段引入半径 NMS 去重以减少冗余关键点：
|
||
|
||
在 `configs/base_config.yaml` 中启用 FPN 与 NMS：
|
||
|
||
```yaml
|
||
model:
|
||
fpn:
|
||
enabled: true
|
||
out_channels: 256
|
||
levels: [2, 3, 4]
|
||
|
||
backbone:
|
||
name: "vgg16" # 可选：vgg16 | resnet34 | efficientnet_b0
|
||
pretrained: false
|
||
|
||
attention:
|
||
enabled: false
|
||
type: "none" # 可选：none | cbam | se
|
||
places: [] # 插入位置：backbone_high | det_head | desc_head
|
||
|
||
matching:
|
||
use_fpn: true
|
||
nms:
|
||
enabled: true
|
||
radius: 4
|
||
score_threshold: 0.5
|
||
```
|
||
|
||
运行匹配并将过程写入 TensorBoard：
|
||
|
||
```bash
|
||
uv run python match.py \
|
||
--config configs/base_config.yaml \
|
||
--layout /path/to/layout.png \
|
||
--template /path/to/template.png \
|
||
--tb_log_matches
|
||
```
|
||
|
||
如需回退旧“图像金字塔”路径，将 `matching.use_fpn` 设为 `false` 即可。
|
||
|
||
也可使用 CLI 快捷开关临时覆盖：
|
||
|
||
```bash
|
||
# 关闭 FPN（等同 matching.use_fpn=false）
|
||
uv run python match.py --config configs/base_config.yaml --fpn_off \
|
||
--layout /path/to/layout.png --template /path/to/template.png
|
||
|
||
# 关闭关键点去重（NMS）
|
||
uv run python match.py --config configs/base_config.yaml --no_nms \
|
||
--layout /path/to/layout.png --template /path/to/template.png
|
||
```
|
||
|
||
### 训练策略 - 几何结构学习
|
||
模型通过**几何结构学习**策略进行训练：
|
||
- **曼哈顿变换生成训练对**: 利用90度旋转等曼哈顿变换
|
||
- **几何感知采样**: 优先采样水平和垂直方向的边缘点
|
||
- **结构一致性优化**: 学习几何结构描述子而非纹理特征
|
||
- **重复结构鲁棒性**: 有效处理IC版图中的大量重复图形
|
||
|
||
**关键区别**: 传统方法学习纹理特征，我们的方法**学习几何结构特征**，完美适应IC版图的二值化、稀疏性、重复结构和曼哈顿几何特征。
|
||
|
||
## 📊 结果
|
||
可参考以下文档与脚本复现并查看最新结果：
|
||
|
||
- CPU 多骨干 A/B 基准（512×512，5 次）：见 `docs/description/Performance_Benchmark.md`
|
||
- 三维基准（Backbone × Attention × Single/FPN）：见 `docs/description/Performance_Benchmark.md` 与 `tests/benchmark_grid.py`
|
||
- FPN vs 滑窗对标脚本：`tests/benchmark_fpn.py`
|
||
- 多骨干 A/B 基准脚本：`tests/benchmark_backbones.py`
|
||
|
||
后续将在 GPU 与真实数据集上补充精度与速度的完整对标表格。
|
||
|
||
## 📄 许可协议
|
||
|
||
本项目根据 [Apache License 2.0](LICENSE.txt) 授权。
|
||
|
||
---
|
||
|
||
## 🧪 合成数据一键流程与常见问题
|
||
|
||
### 一键命令
|
||
```bash
|
||
uv run python tools/generate_synthetic_layouts.py --out_dir data/synthetic/gds --num 200 --seed 42
|
||
uv run python tools/layout2png.py --in data/synthetic/gds --out data/synthetic/png --dpi 600
|
||
uv run python tools/preview_dataset.py --dir data/synthetic/png --out preview.png --n 8 --elastic
|
||
uv run python train.py --config configs/base_config.yaml
|
||
```
|
||
|
||
或使用单脚本一键执行（含配置写回）：
|
||
```bash
|
||
uv run python tools/synth_pipeline.py --out_root data/synthetic --num 200 --dpi 600 \
|
||
--config configs/base_config.yaml --ratio 0.3 --enable_elastic
|
||
```
|
||
|
||
### YAML 关键片段
|
||
```yaml
|
||
synthetic:
|
||
enabled: true
|
||
png_dir: data/synthetic/png
|
||
ratio: 0.3
|
||
|
||
augment:
|
||
elastic:
|
||
enabled: true
|
||
alpha: 40
|
||
sigma: 6
|
||
alpha_affine: 6
|
||
prob: 0.3
|
||
```
|
||
|
||
### 参数建议
|
||
- DPI：600–900；图形极细时可到 1200（注意磁盘占用与 IO）。
|
||
- ratio：数据少取 0.3–0.5；中等 0.2–0.3；数据多 0.1–0.2。
|
||
- Elastic：alpha=40, sigma=6, prob=0.3 为安全起点。
|
||
|
||
### FAQ
|
||
- 找不到 `klayout`：安装系统级 KLayout 并加入 PATH；或使用回退（gdstk+SVG）。
|
||
- `cairosvg`/`gdstk` 报错：升级版本、确认写权限、检查输出目录存在。
|
||
- 训练集为空：检查 `paths.layout_dir` 与 `synthetic.png_dir` 是否存在且包含 .png；若 syn 目录为空将自动仅用真实数据。
|
||
|
||
---
|
||
|
||
## 🧪 合成数据管线与可视化
|
||
|
||
### 1) 生成合成 GDS
|
||
```bash
|
||
uv run python tools/generate_synthetic_layouts.py --out_dir data/synthetic/gds --num 200 --seed 42
|
||
```
|
||
|
||
### 2) 批量转换 GDS → PNG
|
||
```bash
|
||
uv run python tools/layout2png.py --in data/synthetic/gds --out data/synthetic/png --dpi 600
|
||
```
|
||
|
||
若本机未安装 KLayout，将自动回退到 gdstk+SVG 路径；图像外观可能与 KLayout 有差异。
|
||
|
||
### 3) 开启训练混采
|
||
在 `configs/base_config.yaml` 中设置：
|
||
```yaml
|
||
synthetic:
|
||
enabled: true
|
||
png_dir: data/synthetic/png
|
||
ratio: 0.3
|
||
```
|
||
|
||
### 4) 预览训练对（目检增强/H 一致性）
|
||
```bash
|
||
uv run python tools/preview_dataset.py --dir data/synthetic/png --out preview.png --n 8 --elastic
|
||
```
|
||
|
||
### 5) 开启/调整 Elastic 变形
|
||
```yaml
|
||
augment:
|
||
elastic:
|
||
enabled: true
|
||
alpha: 40
|
||
sigma: 6
|
||
alpha_affine: 6
|
||
prob: 0.3
|
||
photometric:
|
||
brightness_contrast: true
|
||
gauss_noise: true
|
||
```
|