图像识别大揭秘:从安防到自动驾驶,视觉模型如何重塑世界

摘要:安防监控:可以用于监控摄像头捕捉到的视频流,识别出人脸、车辆、行人等。智能交通:可以应用于智能交通系统中,监测交通流量、识别车牌、监测违规行为等。智能家居:在智能家居领域,图像识别可以用于人体检测、姿势识别、物体识别等。自动驾驶:图像识别也是自动驾驶技术的关键

基于图像识别的概念,依据对于图像处理的方式不同延伸出很多其他的子任务,如下所示:

目标定位(Object Localization)图像检测(Object Detection)图像分类(Image Classification)零样本目标检测(zero-shot image classification)安防监控:可以用于监控摄像头捕捉到的视频流,识别出人脸、车辆、行人等。智能交通:可以应用于智能交通系统中,监测交通流量、识别车牌、监测违规行为等。智能家居:在智能家居领域,图像识别可以用于人体检测、姿势识别、物体识别等。自动驾驶:图像识别也是自动驾驶技术的关键技术之一,通过识别道路标志、行人、车辆等,帮助汽车实现自主导航和安全驾驶。

本章使用 transformers==4.39.3,pillow==10.3.0,可参考版本进行安装。

实战将采用 HuggingFace 提供的 transformers 库去调用预训练模型,Transformer 库提供了易于使用的 API,可以轻松地加载、使用和微调预训练模型。预测结果将使用 pillow 库绘画出图像识别识别的结果。

HuggingFace 的 transformers 库提供了方便的接口来加载、运行和微调各种预训练的 transformers 模型,安装方式如下:

pip install transformerspip install pillow

pipeline 是使用预训练模型进行推理的最简便、高效的方式,适用于多种任务跨模型的应用场景。利用 pipeline,可轻松调用不同模型。代码示例如下所示:

def test_pipeline:# 情感分析classifier = pipeline(task="sentiment-analysis")# 给出三个文本内容results = classifier(["It's a great ride around the island", "The weather is bad", "He sent an email"])# 打印出结果for i in results:print(f"label: {i['label']}, with score: {round(i['score'], 4)}")

目标检测是在图像中确定并标记出物体位置和类别的任务,通常以边界框的形式呈现,通常是在已知的类别中检测目标。

具体实现是模型会接收带有标签的数据,模型会返回图像中检测到的目标物体的位置和类别信息。

以下是代码示例:

def test_object_detector:# 打开一张图片with open("./breakfast.png", mode='rb') as f:image = Image.open(f)# 初始化一个 pipeline 对象object_detector = pipeline(task='object-detection', revision='main')# 传入图像predictions = object_detector(image)# 将预测结果输出print(json.dumps(predictions, indent=2, ensure_ascii=False))# 使用 ImageDraw 创建一个可在图像上绘制形状和文本的对象draw = ImageDraw.Draw(image)# 遍历检测到每个对象的预测结果 从预测结果去除边界框、标签和置信度得分信息for prediction in predictions:box = prediction["box"]label = prediction["label"]score = prediction["score"]xmin, ymin, xmax, ymax = box.values# 使用绘图对象,在图像上绘制由边界框定义的矩形框,用红色描边,线宽为1。draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)# 在边界框的左上角绘制文本,显示对象标签和置信度得分,文本颜色为白色,字号为16。# Win 使用Arial字体 :ImageFont.truetype('arial.ttf')# Mac可用 PingFang:ImageFont.truetype('PingFang')draw.text((xmin, ymin), f"{label}:{round(score, 2)}", fill="white",font=ImageFont.truetype('arial.ttf', size=16))# 展示绘制结果image.show# 保存图片image.save('./breakfast_object.png')

零样本目标检测是利用模型再训练阶段学到的通用特征,在没有事先见过的类别的情况下,在图像中检测和识别目标物体。

具体实现是将图像传递给零样本目标检测模型,并且给出一组候选标签(candidate_labels),模型会尝试识别图像中是否存在标签对应的物体。

以下是代码示例:

def test_object_detect:with open('breakfast.png', mode='rb') as f:image = Image.open(f)# 初始化一个 pipeline 对象object_detector = pipeline(task="zero-shot-object-detection",revision='main')# 传入图像,并且给出标签predictions = object_detector(image, candidate_labels=['milk'])print(json.dumps(predictions, indent=2, ensure_ascii=False))# 可视化预测draw = ImageDraw.Draw(image)# 遍历检测到的每个对象的预测结果。for prediction in predictions:# 从每个预测结果中获取边界框(box)、标签(label)和置信度得分(score)等信息。box = prediction["box"]label = prediction["label"]score = prediction["score"]xmin, ymin, xmax, ymax = box.values# 使用绘图对象,在图像上绘制由边界框定义的矩形框,用红色描边,线宽为1。draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)# 在边界框的左上角绘制文本,显示对象标签和置信度得分,文本颜色为白色,字号为16。# Win 使用Arial字体 :ImageFont.truetype('arial.ttf')# Mac可用 PingFang:ImageFont.truetype('PingFang')draw.text((xmin, ymin), f"{label}: {round(score, 2)}", fill="white",font=ImageFont.truetype('arial.ttf', size=16))image.showimage.save('breakfast_zero_milk.png')总结了解图像识别应用场景。了解图像检测用法。了解零样本识别用法。

来源:小倩科技每日一讲

相关推荐