创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！
这篇文章将为大家详细讲解有关Pytorch使用Mask R-CNN进行分割的方法，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。
1.语义分割、目标检测和实例分割
之前已经介绍过：
1、语义分割：在语义分割中，我们分配一个类标签（例如。狗、猫、人、背景等）对图像中的每个像素。
2、目标检测：在目标检测中，我们将类标签分配给包含对象的包围框。
一个非常自然的想法是把两者结合起来。我们只想在一个对象周围识别一个包围框，并且找到包围框中的哪些像素属于对象。 换句话说，我们想要一个掩码，它指示（使用颜色或灰度值）哪些像素属于同一对象。 产生上述掩码的一类算法称为实例分割算法。mask R-CNN就是这样一种算法。
实例分割和语义分割有两种不同
1、在语义分割中，每个像素都被分配一个类标签，而在实例分割中则不是这样。
2、在语义分割中，我们不区分同一类的实例。例如，语义分割中属于“Person”类的所有像素都将在掩码中分配相同的颜色/值。在实例分割中，它们被分配到不同的值，我们能够告诉它们哪个像素对应于哪个人。 要了解更多关于图像分割的信息，请查看我们已经详细解释过的帖子。
Mask R-CNN结构
mask R-CNN的网络结构是我们以前讨论过的FasterR-CNN的扩展。
回想一下，faster R-CNN架构有以下组件
卷积层：输入图像经过几个卷积层来创建特征图。如果你是初学者，把卷积层看作一个黑匣子，它接收一个3通道的输入图像，并输出一个空间维数小得多（7×7），但通道非常多（512）的“图像”。
区域提案网络（RPN）。卷积层的输出用于训练一个网络，该网络提取包围对象的区域。
分类器：同样的特征图也被用来训练一个分类器，该分类器将标签分配给框内的对象。
此外，回想一下，FasterR-CNN 比 Fast R-CNN更快，因为特征图被计算一次，并被RPN和分类器重用。 mask R-CNN将这个想法向前推进了一步。除了向RPN和分类器提供特征图外，mask R-CNN还使用它来预测边界框内对象的二值掩码。 研究 MaskR-CNN的掩码预测部分的一种方法是，它是一个用于语义分割的完全卷积网络（FCN）。唯一的区别是在mask R-CNN里，FCN被应用于边界框，而且它与RPN和分类器共享卷积层。 下图显示了一个非常高层次的架构。
2.在PyTorch中使用mask R-CNN[代码]
在本节中，我们将学习如何在PyTorch中使用预先训练的MaskR-CNN模型。
2.1.输入和输出
mask R-CNN模型期望的输入是张量列表，每个张量的类型为（n，c，h，w），元素在0-1范围内。图像的大小随意。
n是图像的个数
c为通道数 RGB图像为3
h是图像的高度
w是图像的宽度
模型返回 ：
包围框的坐标
模型预测的存在于输入图像中的类的标签以及对应标签的分数
标签中每个类的掩码。
2.2 预训练模型
model = torchvision.models.detection.maskrcnn_resnet50_fpn(pretrained=True)
model.eval()
2.3 模型的预测
COCO_INSTANCE_CATEGORY_NAMES = [
'__background__', 'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus',
'train', 'truck', 'boat', 'traffic light', 'fire hydrant', 'N/A', 'stop sign',
'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',
'elephant', 'bear', 'zebra', 'giraffe', 'N/A', 'backpack', 'umbrella', 'N/A', 'N/A',
'handbag', 'tie', 'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball',
'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard', 'tennis racket',
'bottle', 'N/A', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl',
'banana', 'apple', 'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza',
'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed', 'N/A', 'dining table',
'N/A', 'N/A', 'toilet', 'N/A', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',
'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'N/A', 'book',
'clock', 'vase', 'scissors', 'teddy bear', 'hair drier', 'toothbrush'
]
def get_prediction(img_path, threshold):
img = Image.open(img_path)
transform = T.Compose([T.ToTensor()])
img = transform(img)
pred = model([img])
print('pred')
print(pred)
pred_score = list(pred[0]['scores'].detach().numpy())
pred_t = [pred_score.index(x) for x in pred_score if x>threshold][-1]
print("masks>0.5")
print(pred[0]['masks']>0.5)
masks = (pred[0]['masks']>0.5).squeeze().detach().cpu().numpy()
print("this is masks")
print(masks)
pred_class = [COCO_INSTANCE_CATEGORY_NAMES[i] for i in list(pred[0]['labels'].numpy())]
pred_boxes = [[(i[0], i[1]), (i[2], i[3])] for i in list(pred[0]['boxes'].detach().numpy())]
masks = masks[:pred_t+1]
pred_boxes = pred_boxes[:pred_t+1]
pred_class = pred_class[:pred_t+1]
return masks, pred_boxes, pred_class 
