El poble és a 177 m d’altitud i està situat a la vora del torrent, en un vessant del turó encarat al migdia. El castell, situat en la part més alta de la vila, i l’església, en la part baixa, són els edificis que defineixen la bonica vista del poble.
El nucli antic conserva la tipologia de les cases tradicionals, estucades o pintades, que deixen veure elements arquitectònics, portalades, finestrals, reixes, balconades i restes de pintures decoratives de diverses èpoques. Els portals són un testimoni que encara resta de la vila antiga.
A Vallmoll, hi podem veure també l’ermita del Roser. Situada en uns terrenys vora el torrent, fou bastida per Guillem Godó, mestre de cases. L’ermita es va construir amb aportacions del consell, del rector i de diversos particulars, essent beneïda el 1566. El pintor francès Jean Bas va interpretar els misteris del rosari en un magnífic retaule, datat el 1580, que presideix l’altar major. L’estructura està formada per una sola nau amb arcs apuntats. El 1925 l’arquitecte modernista Jujol va dur a terme una significativa restauració i decoració de l’ermita.