Add quant and amp docs

Author: nepeplwu

configs/smoke/smoke_dla34_no_dcn_kitti_amp.yml

@@ -0,0 +1,74 @@
+_base_: '../_base_/kitti_mono.yml'
+
+batch_size: 8
+iters: 70000
+
+amp_cfg:
+  enable: True
+  level: O1
+  scaler:
+    init_loss_scaling: 1024.0
+  custom_black_list: ['matmul_v2', 'elementwise_mul']
+
+train_dataset:
+  transforms:
+    - type: LoadImage
+      reader: pillow
+      to_chw: False
+    - type: Gt2SmokeTarget
+      mode: train
+      num_classes: 3
+      input_size: [1280, 384]
+    - type: Normalize
+      mean: [0.485, 0.456, 0.406]
+      std: [0.229, 0.224, 0.225]
+
+val_dataset:
+  transforms:
+    - type: LoadImage
+      reader: pillow
+      to_chw: False
+    - type: Gt2SmokeTarget
+      mode: val
+      num_classes: 3
+      input_size: [1280, 384]
+    - type: Normalize
+      mean: [0.485, 0.456, 0.406]
+      std: [0.229, 0.224, 0.225]
+
+optimizer:
+  type: Adam
+
+lr_scheduler:
+  type: MultiStepDecay
+  milestones: [36000, 55000]
+  learning_rate: 1.25e-4
+
+model:
+  type: SMOKE
+  backbone:
+    type: DLA34
+    # This will automatically save to ~/.paddle3d/pretrained/dla34/dla34.pdparams
+    pretrained: "https://bj.bcebos.com/paddle3d/pretrained/dla34.pdparams"
+  head:
+    type: SMOKEPredictor
+    num_classes: 3
+    reg_channels: [1, 2, 3, 2, 2]
+    num_chanels: 256
+    norm_type: "gn"
+    in_channels: 64
+  depth_ref: [28.01, 16.32]
+  # dim_ref is the reference size mentioned in the paper, the order here is [l, h, w]
+  dim_ref: [[3.88, 1.63, 1.53], [1.78, 1.70, 0.58], [0.88, 1.73, 0.67]]
+  max_detection: 50
+  pred_2d: True
+
+export:
+  transforms:
+    - type: LoadImage
+      reader: pillow
+      to_chw: False
+      to_rgb: True
+    - type: Normalize
+      mean: [0.485, 0.456, 0.406]
+      std: [0.229, 0.224, 0.225]

docs/quickstart.md

@@ -27,6 +27,10 @@ export CUDA_VISIBLE_DEVICES=0,1,2,3
 fleetrun tools/train.py --config configs/smoke/smoke_dla34_no_dcn_kitti.yml --iters 100 --log_interval 10 --save_interval 20
 ```
 
+**混合精度训练**
+
+如果想要启动混合精度训练，请参考[配置文件](../configs/smoke/smoke_dla34_no_dcn_kitti_amp.yml#L6-#L11)中添加amp的参数项，可用的参数可以参考 API **[paddle.amp.auto_cast](https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/amp/auto_cast_cn.html#paddle.amp.auto_cast)**
+
 **训练脚本参数介绍**
 
 | 参数名              | 用途                                                         | 是否必选项  | 默认值            |
@@ -43,6 +47,7 @@ fleetrun tools/train.py --config configs/smoke/smoke_dla34_no_dcn_kitti.yml --it
 | log_interval        | 打印日志的间隔步数                                            | 否          | 10               |
 | resume              | 是否从检查点中恢复训练状态                | 否          | None             |
 | keep_checkpoint_max | 最多保存模型的数量                                              | 否          | 5                |
+| quant_config        | 量化配置文件，一般放在[configs/quant](../configs/quant)目录下       | 否         | None              |
 | seed                | Paddle/numpy/random的全局随机种子值                                                    | 否         | None              |
 
 *注意：使用一个 batch 数据对模型进行一次参数更新的过程称之为一步，iters 即为训练过程中的训练步数。完整遍历一次数据对模型进行训练的过程称之为一次迭代，epochs 即为训练过程中的训练迭代次数。一个epoch包含多个iter。*
@@ -63,6 +68,30 @@ visualdl --logdir output --host ${HOST_IP} --port {$PORT}
 
 <br>
 
+## 模型量化（可选）
+
+为了导出量化的模型，我们可以对模型进行量化训练，量化后的模型可以使用TensorRT + int8进行推理，从而提升推理速度，使用如下命令启动量化训练。
+
+以多卡训练为例子，使用如下命令启动多卡量化训练，同样只训练100个iter进行快速体验
+
+```shell
+export CUDA_VISIBLE_DEVICES=0,1,2,3
+# 注意这是一次新的训练，需要指定加载已经训练好的模型参数进行微调
+# 并且指定新的模型保存路径
+fleetrun tools/train.py \
+    --config configs/smoke/smoke_dla34_no_dcn_kitti.yml \
+    --iters 100 \
+    --log_interval 10 \
+    --save_interval 20 \
+    --quant_config configs/quant/smoke_kitti.yml \
+    --model output/iter_100/model.pdparams \
+    --save_dir output_smoke_quant
+```
+
+*注意，不同的模型需要探索不同的量化训练配置（如重新训练的次数，学习率衰减等），我们提供了 **SMOKE** 和 **CenterPoint** 的配置文件供参考*
+
+<br>
+
 ## 模型评估
 
 **单卡评估**
@@ -82,6 +111,7 @@ python tools/evaluate.py --config configs/smoke/smoke_dla34_no_dcn_kitti.yml --m
 | config              | 配置文件路径                                                  | 是         | -                |
 | model               | 模型参数路径                                                  | 否         | -                |
 | num_workers         | 用于异步读取数据的进程数量， 大于等于1时开启子进程读取数据        | 否         | 2                |
+| quant_config        | 量化配置文件，一般放在[configs/quant](../configs/quant)目录下，如果模型使用量化训练，则在评估时同样需要指定量化配置文件  | 否         |
 
 <br>
 
@@ -103,6 +133,7 @@ python tools/export.py --config configs/smoke/smoke_dla34_no_dcn_kitti.yml --mod
 | export_for_apollo   | 是否用于Apollo部署，当打开该开关时，会同步生成用于Apollo部署的meta文件   | 否         | False                  |
 | save_dir            | 推理模型文件的保存路径                                                | 否         | exported_model         |
 | save_name           | 推理模型文件的保存名字                                                | 否         | None(由各模型自定决定)   |
+| quant_config        | 量化配置文件，一般放在[configs/quant](../configs/quant)目录下，如果模型使用量化训练，则在模型导出时同样需要指定量化配置文件  | 否         |
 
 <br>
 

tools/train.py

@@ -140,12 +140,7 @@ def main(args):
     if not os.path.exists(args.cfg):
         raise RuntimeError("Config file `{}` does not exist!".format(args.cfg))
 
-    cfg = Config(
-        path=args.cfg,
-        learning_rate=args.learning_rate,
-        iters=args.iters,
-        epochs=args.epochs,
-        batch_size=args.batch_size)
+    cfg = Config(path=args.cfg)
 
     if args.model is not None:
         load_pretrained_model(cfg.model, args.model)
@@ -155,6 +150,12 @@ def main(args):
         cfg.model.build_slim_model(quant_config['quant_config'])
         update_dic(cfg.dic, quant_config['finetune_config'])
 
+    cfg.update(
+        learning_rate=args.learning_rate,
+        batch_size=args.batch_size,
+        iters=args.iters,
+        epochs=args.epochs)
+
     if cfg.train_dataset is None:
         raise RuntimeError(
             'The training dataset is not specified in the configuration file!')