De nombreuses politiques urbaines tentent aujourd’hui de réduire la place de l’automobile au cœur des villes françaises. Si elle peut se révéler variée, l’appréciation de cette incitation « par le haut » est souvent peu analysée du point de vue des ménages, notamment ceux issus des classes populaires, les plus à même d’être vulnérabilisés par l’abandon de la voiture. Dans cet article nous montrerons qu’au-delà de leurs conditions économiques absolues, les rapports des ménages à la voiture rendent compte d’une misère de position qui renvoie à la perception de leur positionnement dans l’espace social et qui est susceptible d’évoluer au gré de leur trajectoire, de leur socialisation. L’argumentation de l’article s’appuie sur une enquête par entretiens biographiques menée dans quatre aires urbaines françaises (Bordeaux, Dijon, Lyon et Paris) auprès de personnes ayant renoncé, par contrainte ou non, à l’usage ou à la possession de véhicule motorisé pour les déplacements quotidiens.