Wat Herzele typeert, is het grote aantal oude hoeves. In de inventaris van het bouwkundig erfgoed staan onder meer Hoeve Hof ter Erpen aan de Arestraat, met een boerenhuis uit 1750, en een grote gesloten hoeve aan de Bekenholstraat uit het eerste kwart van de 19de eeuw. Ook de dorpskom van Steenhuize-Wijnhuize is als geheel opgenomen. Bij zulke gebouwen gaat het niet alleen om het woonhuis: schuren, stallen en wagenhuizen hebben vaak een eigen dak in een andere staat.
Door de gemeente lopen twee beken: de Molenbeek, via Borsbeke, Herzele, Ressegem en Hillegem, en de Molenbeek-Ter Erpenbeek, via Herzele, Sint-Lievens-Esse, Woubrechtegem en Ressegem. De vallei van de Molenbeek tussen Herzele en Mere loopt verder door Haaltert, langs Heldergem, Kerksken en Aaigem. In het zuiden wordt het landschap glooiender, met het Duivenbos bij Sint-Antelinks en het Parkbos-Hasseltbos richting Lierde en Geraardsbergen.
In de dorpskernen staan vooral oudere rijwoningen en halfopen woningen, langs de verbindingswegen vrijstaande woningen uit verschillende decennia. Veel van die woningen zijn in de loop der jaren uitgebreid met een achterbouw of garage met plat dak. Een renovatie vraagt hier dus vaak een combinatie: het hoofddak, een plat dak en soms een bijgebouw.