Comment passer d’un classeur à la détection d’objets dans les images?

« Y a-t-il un chat sur cette photo? » et « où se trouve chaque chat sur cette photo? » semblent être des problèmes différents. Dans le code, ils sont étonnamment proches. Le premier réseau finit par faire la moyenne de tout ce qu’il a trouvé dans l’image pour donner une seule réponse. Le second garde les réponses séparées, endroit par endroit.

Ce projet génère ses propres images : des cercles, des carrés et des triangles sur un fond gris bruité, de 64 pixels sur 64. Comme un script les dessine, vous obtenez des étiquettes parfaites, des données illimitées et aucun souci de droits, et l’entraînement prend quelques secondes. Le script est 05_classify_then_detect.py; il exige PyTorch et NumPy et utilise un GPU si vous en avez un. Les résultats ci-dessous ont été obtenus sur le GPU intégré d’un Apple M5 Max avec PyTorch 2.15. Les autres machines n’ont pas été testées.

Partie 1 : le classeur

Le corps compte six petites couches de convolution, des filtres qui glissent sur l’image, avec trois réductions de moitié de la taille de l’image. Une image de 64 sur 64 devient 8 cellules sur 8, chacune décrite par 64 nombres.

import torch.nn as nn

def backbone():
    layers, ch = [], 1
    for out in (16, 32, 64):        # trois réductions de moitié : de 64 à 8 cellules
        layers += [nn.Conv2d(ch, out, 3, padding=1), nn.BatchNorm2d(out), nn.ReLU(),
                   nn.Conv2d(out, out, 3, padding=1), nn.BatchNorm2d(out), nn.ReLU(),
                   nn.MaxPool2d(2)]
        ch = out
    return nn.Sequential(*layers)

class Classifier(nn.Module):
    def __init__(self):
        super().__init__()
        self.body, self.head = backbone(), nn.Linear(64, 3)
    def forward(self, x):
        return self.head(self.body(x).mean((2, 3)))   # la moyenne efface le « où »

Après 600 étapes et 4,7 secondes, avec une forme par image, ce modèle de 72 435 paramètres a réussi 1 000 nouvelles images de test sur 1 000. Le script lui a ensuite montré 200 images contenant trois formes d’au moins deux types. Il a continué à répondre avec une probabilité maximale moyenne de 94 %, une étiquette par image. Il est sûr de lui, alors que la question à laquelle il répond ne correspond plus à l’image. Ce .mean((2, 3)) en est la cause : il jette la position.

Partie 2 : garder la grille

Un détecteur, dans l’esprit de YOLO, remplace cette moyenne et traite le travail comme la prédiction de nombres pour des zones fixes de l’image, le tout en une seule passe. Ici, chacune des 64 cellules prédit sept valeurs.

class Detector(nn.Module):
    def __init__(self):
        super().__init__()
        self.body = backbone()
        self.head = nn.Conv2d(64, 1 + 3 + 3, 1)
        # par cellule : un objet ici?, décalage x, décalage y, taille, puis 3 scores de classe
    def forward(self, x):
        return self.head(self.body(x))

Seulement 260 paramètres séparent les deux modèles. Ce qui change, c’est la cible et la perte, le score que l’entraînement cherche à réduire. La cellule qui contient le centre d’une forme doit dire « oui » et donner la boîte et la classe. Toutes les autres doivent dire « non ». La plupart des cellules sont vides : sans un poids plus élevé pour le « oui », le modèle peut obtenir un bon score en ne prédisant rien du tout.

Ensuite, une étape appelée suppression des non-maximums conserve la plus forte des boîtes qui se chevauchent.

Comment note-t-on des boîtes?

Une boîte est juste si elle chevauche suffisamment la vraie. L’IoU, intersection sur union, est le chevauchement divisé par la surface totale couverte : 1 est parfait et 0,5 est une note de passage courante. La précision moyenne classe toutes les prédictions par confiance et regarde comment la précision tient le coup quand on essaie de trouver davantage d’objets. Le mAP en est la moyenne pour toutes les classes.

Le jeu de test compte 500 images fraîches. Chaque modèle s’est entraîné pendant les mêmes 2 500 étapes, de 15 à 18 secondes, sur une pile fixe d’images :

Le tableau renferme une leçon que le classeur ne pouvait pas montrer. Avec 100 images, le modèle semble acceptable au test souple, 0,888, et faible au test strict, 0,406. Trouver les choses s’apprend plus facilement que les placer avec précision, et le placement exige plus de données. Les quatre modèles sont parfaits sur ce qu’ils ont vu à l’entraînement, ces scores ne disent donc rien.

Le script a ensuite testé le modèle à 8 000 images sur des scènes plus étroites et plus chargées :

Sur le processeur, une image a pris 0,65 milliseconde. Cette grille a une limite intégrée : une cellule ne contient qu’un objet, si bien que deux objets centrés dans la même cellule ne peuvent pas être trouvés tous les deux. Les images d’entraînement gardent les formes séparées, ce qui explique en partie ces scores si élevés.

Qu’est-ce qui change avec de vraies photos?

Presque tout, sauf la structure. Ces scores sont élevés parce que la tâche est facile : formes plates, fond uni, ni éclairage ni perspective, et images de test issues du même procédé que les images d’entraînement. Ils montrent que la méthode fonctionne et comment la mesurer. Ils ne disent rien de la performance d’un détecteur sur vos photos, et rien dans ce projet n’a été testé sur de vraies images.

Avec de vraies images, les étiquettes deviennent le principal coût. Quelqu’un doit dessiner chaque boîte et s’entendre avec ses collègues sur ce qui compte comme un objet. Utilisez un corps préentraîné : les premières couches d’un réseau entraîné sur des millions de photos détectent déjà les contours et les textures, et vos données entraînent surtout la tête. Testez sur des photos d’autres jours, d’autres appareils et d’autres lieux, car partager les images d’une même séance entre entraînement et test, c’est la fuite du projet quatre sous une autre forme. Les personnes sur les images ajoutent des obligations de confidentialité : prévoyez le consentement ou le floutage.

Avant d’entraîner quoi que ce soit, voyez si un simple classeur suffit. Si vous avez seulement besoin de savoir « la tablette est-elle vide? », vous n’avez pas besoin de boîtes. Il faut beaucoup moins d’étiquettes, puisqu’un mot par image se note bien plus vite qu’une boîte autour de chaque objet.