目录
一、图片预处理
1、cv读取原始图片
2、读取图片的中心点
3、计算仿射变化2*3的矩阵
4、基于双线性插值的仿射变化，将原始图片映射到dst图片
5、将原始图片的值归一化到0~1之间
6、使用样本集的mean和std再进行z-score归一化
7、计算特征图的大小（128*128）
8、计算原始图片到特征图的2*3仿射变化矩阵
9、初始化结果字段
10、获取原始图片中物体的bbox并映射到特征图中
11、在特征图中构造heatmap
12、ind计算
13、中心点偏移reg计算
14、预处理之后数据结果汇总
二、Loss值计算
1、loss概述
2、FocalLoss计算流程
3、L1Loss计算流程
4、最终loss值汇总
三、预测推理过程之图像预处理
四、预测推理过程之预测结果解析
1、获取模型的输出
2、heatmap通过sigmoid映射到0~1之间
3、nms在heatmap中寻找中心点
4、取topK的中心点的分数、索引、分类、特征图中的中心点坐标值
五、预测推理过程之原始图标记
1、将bbox的2个点仿射变化到原图中（比如800* 1200）
2、将top100个点按照分类class_id放到不同的key中
3、最终返回值
六、小结
1、几种维度图片的关系
2、特征图中topK处理说明
一、图片预处理
本功能作用于dataloader阶段，读取输入图片，预处理之后获取target目标数据的各项值，后续算法预测的值与上述值进行对比从而计算loss再进行反向传播。
1、cv读取原始图片
img = cv2.imread(img_path)
2、读取图片的中心点
center = np.array([img.shape[1] / 2., img.shape[0] / 2.], dtype=np.float32)
3、计算仿射变化2*3的矩阵
需要在原始src图片和目标dst图片中分别找到对应的3个点，然后通过两边3个点的映射计算得到仿射变换矩阵。Dst图片大小为512*512。
（1）第1个点就是中心点
（2）第2个点是中心点左直width一半距离的点
（3）第3个点是第2个点下直width一半距离的点
（4）src图片和dst图片中分别通过如上操作得到3个点，然后通过如下操作计算变换矩阵。cv2.getAffineTransform(np.float32(src), np.float32(dst))
trans_input = get_affine_transform(center, s, 0, [input_w, input_h])
4、基于双线性插值的仿射变化，将原始图片映射到dst图片
inp = cv2.warpAffine(img, trans_input,
(input_w, input_h),
flags=cv2.INTER_LINEAR)
5、将原始图片的值归一化到0~1之间
inp = (inp.astype(np.float32) / 255.)
6、使用样本集的mean和std再进行z-score归一化
inp = (inp - self.mean) / self.std
7、计算特征图的大小（128*128）
output_h = input_h // self.down_ratio
output_w = input_w // self.down_ratio
8、计算原始图片到特征图的2*3仿射变化矩阵
trans_output = get_affine_transform(center, s, 0, [output_w, output_h])
9、初始化结果字段
Heatmap大小为class_num * height * weight大小
Wh和reg大小都为max_objs(128) * 2，max_objs指的是算法最多同时预测多少个目标，如果只有1个目标，则wh和reg的值为1*2。所以max_objs(128) * 2表示每个目标存放2个值，对应wh即为weight和height，对应reg即为x和y各自的偏移量
Ind为max_objs，中心点在特征图中的索引值信息，每个目标存放1个索引值即可
Reg_mask为max_objs
10、获取原始图片中物体的bbox并映射到特征图中
Bbox为矩形，打标时只有左上角和右下角的信息，则将这两个点分别映射到特征图中。
（1）在第8步中得到了仿射变化矩阵，分别将左上角和右下角的点通过该矩阵单点映射到特征图中。变化公式为：
（2）对变换后的两个点做校验，保证点位置在特征图中。
11、在特征图中构造heatmap
虽然centernet是将一个物体当作一个keypoint去预测，但是如果只预测一个点则要求过于严格且难易训练，所以围绕着中心点构造一定宽度的高斯分布，目标keypoint落在这些点上都是可接受的。
（1）计算高斯分布的半径radius
根据IOU进行计算，根据如下三种情况可以分别得到3个r，然后取其中的最小值。
代码如下：
height, width = det_size
# 对应情况三
a1 = 1
b1 = (height + width)
c1 = width * height * (1 - min_overlap) / (1 + min_overlap)
sq1 = np.sqrt(b1 ** 2 - 4 * a1 * c1)
r1 = (b1 + sq1) / 2
# 对应情况二
a2 = 4
b2 = 2 * (height + width)
c2 = (1 - min_overlap) * width * height
sq2 = np.sqrt(b2 ** 2 - 4 * a2 * c2)
r2 = (b2 + sq2) / 2
# 对应情况一
a3 = 4 * min_overlap
b3 = -2 * min_overlap * (height + width)
c3 = (min_overlap - 1) * width * height
sq3 = np.sqrt(b3 ** 2 - 4 * a3 * c3)
r3 = (b3 + sq3) / 2
return min(r1, r2, r3)
（2）上一步的半径值取整
radius = max(0, int(radius))
最终高斯分布的sigma为radius / 3。
（3）计算128*128特征图中物体的中心点，并取整
ct = np.array( [(bbox[0] + bbox[2]) / 2, (bbox[1] + bbox[3]) / 2], dtype=np.float32) ct_int = ct.astype(np.int32)
（4）根据中心点、radius在heatmap中构建矩形的高斯分布
首先，画高斯分布的矩形，对应gaussian2D方法，此时不考虑是否全部涵盖在heatmap中。
y, x = np.ogrid[-m:m+1,-n:n+1]
h = np.exp(-(x * x + y * y) / (2 * sigma * sigma))
然后，在heatmap中计算高斯分布矩形，需要根据中心点的位置对高斯分布做适当的裁剪
需要计算基于中心点的左、右、上、下的距离。
left, right = min(x, radius), min(width - x, radius + 1)
假如中心点的x为1，radius为2，所以left=1。
假如中心点的x为5，width=6，radius=1，则right=1。
即left，right需要考虑中心点的实际位置。
接着，在heatmap的中心点附近，基于上一步计算出来的left/right/top/bottom，从第一步高斯分布矩形中扣出相同的大小的值 赋给 heatmap中相同大小矩形的值。
masked_heatmap = heatmap[y - top:y + bottom, x - left:x + right]
masked_gaussian = gaussian[radius - top:radius + bottom, radius - left:radius + right]
np.maximum(masked_heatmap, masked_gaussian * k, out=masked_heatmap)
heatmap的值并不是clone()给masked_heatmap，所以对masked_heatmap的修改就是对heatmap的修改。
12、ind计算
计算中心点的索引ind在heatmap（128*128特征图）中的位置，从上到下，从左到右的顺序的一维索引值。
13、中心点偏移reg计算
中心点-中心点取整 之后的偏移量
14、预处理之后数据结果汇总
{'input': inp, 'hm': hm, 'reg_mask': reg_mask, 'ind': ind, 'wh': wh, 'reg': reg}
Inp为原始图仿射变化到512*512的图像数据
Hm为128*128特征图中的中心点相关的值信息
Reg_mask[k]=1
Ind为中心点在特征图中的一维索引值
Wh为bbox在特征图中对应的width和height
Reg为特征图中的中心点跟取整后小数点的偏移量。
二、Loss值计算
最外层代码：
outputs = self.model(batch['input'])
output = outputs[-1]
loss, loss_stats = self.loss(outputs, batch)
1、loss概述
针对heatmap、wh、reg分别各自使用一种loss计算方式，最后加权获得最终的loss值。
其中heatmap使用FocalLoss计算方式，wh和reg使用L1Loss计算方式。
2、FocalLoss计算流程
计算公式如下：
Xyc表示在某个class_id下的xy值。
计算过程在_neg_loss中，步骤如下：
（1）找出正负样例的索引值
正样例：ground truth中的heatmap中keypoint的值，即为1
负样例：ground truth的heatmap中小于1的值，即非keypoint的位置
通过正负样例的索引构造了mask，后续针对正、负样例分别计算loss值后再汇总
pos_inds = gt.eq(1).float()
neg_inds = gt.lt(1).float()
（2）分别计算正、负样例的loss值并汇总
neg_weights = torch.pow(1 - gt, 4)
pos_loss = torch.log(pred) * torch.pow(1 - pred, 2) * pos_inds
neg_loss = torch.log(1 - pred) * torch.pow(pred, 2) * neg_weights * neg_inds
num_pos = pos_inds.float().sum()
pos_loss = pos_loss.sum()
neg_loss = neg_loss.sum()
（3）汇总正负样例的loss值
loss = loss - (pos_loss + neg_loss) / num_pos
3、L1Loss计算流程
本流程同时适用于wh和reg的loss计算。
计算wh的loss时输入：
crit_reg(output['wh'], target['reg_mask'], target['ind'], target['wh'])
计算reg的loss时输入：
crit_reg(output['reg'], target['reg_mask'], target['ind'], target['reg'])
以下都以wh介绍loss的计算。
（1）输入：
Output[‘wh’]的shape为1*2*128*128，表示batch * wh的2个位置 * 特征图的width * 特征图的height
Target[‘wh’]的shape为1*128*2，表示max_objs（最大目标个数为128个，与特征图的128无关） * wh的2个位置
（2）获取128*128 heatmap中keypoint对应的wh
将预测的二维空间1*2*128*128的值转为一维空间的值1*16384*2，方便ind从一维空间中找到keypoint对应的wh值。16384=128*128。
接着根据ind获取一维中中心点对应的wh。
最后输出数据的shape是1*128*2，即batch * max_obs * wh的2个位置，假如只有一个obj，则后续只要取第一个obj的wh的2个值即可。
（3）计算l1 loss
通过mask获取预测pred（1*128*2）与实际target（1*128*2）中对应obj的wh值，然后通过F.l1_loss计算损失值，再除以obj的个数得到最终的loss值。
4、最终loss值汇总
三、预测推理过程之图像预处理
函数功能见：CtdetDetector.pre_process函数
1、将原始图仿射变换到512*512，将值除以255归一化，再通过mean和std进行z-score归一化
2、计算原始图的中心点center，（height、weight）的较大值
3、输出信息为：
（1）images：1*3*512*512
（2）meta：{‘c’:c ,’s’:s, ‘out_height’:128, ‘out_width’:128}
四、预测推理过程之预测结果解析
函数功能见：CtdetDetector.process函数
1、获取模型的输出
（1）hm：预测的heatmap值，1*2*128*128，即batch * class_num * feat_height * feat_width
（2）wh: 预测的wh值，1*2*128*128, 即batch * 2 * feat_height * feat_width，该值表示在特征图（128*128）中每个点预测出来的目标的width和height
（3）reg：预测的offset值，1*2*128*128，即batch * 2 * feat_height * feat_width，该值表示在特征图（128*128）中每个点预测出来的目标x和y的偏移量
2、heatmap通过sigmoid映射到0~1之间
hm = output['hm'].sigmoid_()
3、nms在heatmap中寻找中心点
中心点的定义为：在3*3的矩阵中满足中心点最大，其他值均小于该值。
通过max_pool2d进行处理，kernel_size=1, padding=1, stride=1，取出特征图中每个点的kernel_size构建矩阵中的最大值，如果该最大值就是当前值，则当前值就是中心点的值。
上面的判断构建了mask码，heat乘以mask就只剩下了中心点。
pad = (kernel - 1) // 2
hmax = nn.functional.max_pool2d(
heat, (kernel, kernel), stride=1, padding=pad)
keep = (hmax == heat).float()
return heat * keep
4、取topK的中心点的分数、索引、分类、特征图中的中心点坐标值
假设K=100
（1）获取每个分类下的topK中心点分数和索引值
[batch, cat, height, width] 转化为[batch, cat, height * width]，然后求出每个cat下的topk，得到[batch, cat, K]，并记录这些中心点的x，y信息
topk_scores, topk_inds = torch.topk(scores.view(batch, cat, -1), K)
topk_inds = topk_inds % (height * width)
topk_ys = (topk_inds / width).int().float()
topk_xs = (topk_inds % width).int().float()
（2）获取所有分类下的topK中心点分数和索引值
topk_score, topk_ind = torch.topk(topk_scores.view(batch, -1), K)
[batch, cat, K] 转换为[batch, cat * K]
获取了top100的分数值，两个的shape为[1,100]
通过topk_ind / K就得到了每个中心点对应的cat信息
获取topK个中心点在特征图（128*128）中的一维位置信息，x和y值。
在_gather_feat(feat, ind)中，feat的shape为[1,200,1]，200存放的是128*128中的索引值。Ind的shape为[1,100]，100存放的是feat的200里面的索引值。所以该函数可以获取top100个中心点在128*128中的信息。
_topk返回：
Topk_score：top100的分数值
Topk_inds: top100的中心点在特征图中的一维索引值
Topk_clses：top100的中心点对应的类别信息
Topk_ys：top100的中心点在特征图中的二维y索引值
Topk_xs：top100的中心点在特征图中的二维x索引值
（3）获取topK预测的reg和wh的信息
_transpose_and_gather_feat(feat, ind)中，feat对应预测出来的reg和wh信息，shape为[1,2,128*128]，ind为上一步中topk_inds的信息。
Reg的[1,2,128*128] 转化为[1, 128*128, 2]，然后在128*128的一维数组中找到ind对应的值。
对于reg来说，预测的中心点的偏移值为中心点的位置+偏移量。比如x坐标，为xs+reg中的x的偏移量。
对于wh来说，预测的中心点的width、height不需要再做处理。
（4）计算特征图中的bbox信息
左上角为：[xs - width/2, ys - width/2]
右下角为：[xs + width/2, ys + width/2]
（5）最终输出
包含bboxes，scores，clses这3部分的信息，
Bboses：[1, 100, 4]
Scores: [1, 100, 1]
Clses: [1, 100, 1]
3部分信息通过dim=2进行concat
detections = torch.cat([bboxes, scores, clses], dim=2)
dets的shape为：[1, 100, 6]
五、预测推理过程之原始图标记
本步操作主要是将特征图中的结果信息反馈到原始图中进行标记。
函数功能见：CtdetDetector. post_process函数
1、将bbox的2个点仿射变化到原图中（比如800* 1200）
首先计算出仿射变化矩阵
然后top100个点分别乘以仿射变化矩阵，得到原图中100个点的bbox信息
2、将top100个点按照分类class_id放到不同的key中
比如num_classes=2
Top_preds={}
Top_preds[0]存放分类1的40个bbox和中心点分数信息，（40，5）
Top_preds[1]存放分类2的60个bbox和中心点分数信息，（60，5）
3、最终返回值
字典形式的dets，存放的就是上面的top_preds的信息
六、小结
1、几种维度图片的关系
本算法涉及到3种维度的图片，分别是800*1200的原始图，512*512的输入图，128*128的特征图。
在训练的图片预处理阶段，我们是将800*1200的原始图的中心点，wh，reg直接对应到128*128的特征图中，这些在特征图中的值就是target目标值。同时还会将800*1200的图片仿射变化到512*512的图片。
神经网络是将512*512的图片信息提取特征到128*128的特征图中。
最后还要将128*128特征图中得到的中心点、wh、offset信息重新反馈到800*1200的原始图中。
2、特征图中topK处理说明
在class_num*128*128的featmap中，首先在每个class_num中选取topK个中心点，然后再选取所有分类的topK个中心点。所以在特征图中最终是输出topK个中心点以及附带的wh、reg等信息。
在原始图中展示时，需要根据阈值过滤topK中score过低的值，最后再展示0~K个目标。