De gemeente Baarn is met name gesitueerd op de noordoostflank van de Utrechtse Heuvelrug en wordt gevormd door drie dorpskernen. Naast Baarn zijn dat Eembrugge, gelegen aan de Eem ten noordoosten van Baarn en Lage Vuursche, midden in het bos geheel aan de westzijde van de gemeente.
Baarn was van oorsprong een bescheiden brinkdorp met een sterk agrarisch karakter. In de Gouden Eeuw bleek de omgeving van Baarn aantrekkelijk te zijn voor kooplieden en patriciërs uit Amsterdam. Zij lieten tot ver in de achttiende eeuw zomerverblijven en jachthuizen bouwen op grote stukken land in Baarn, waaronder 'Soestdijk' tussen 1674 en 1678 gebouwd en de buitenplaatsen Groeneveld, Pijnenburg, Rusthoek, enz. Na de aanleg van de spoorlijn Amsterdam-Amersfoort in 1874, namen handel en industrie toe en werd Baarn zelf van een agrarisch dorp een villadorp.
Veel welgestelden, grotendeels afkomstig uit Amsterdam, vestigden zich hier tijdens de zomermaanden of permanent en lieten ruime villa's bouwen op grote kavels. Het bescheiden brinkdorp breidde zich in relatief korte tijd fors uit met diverse ruim opgezette villawijken, zoals Prins Hendrikpark, Wilhelminapark, enz.
Na de Tweede Wereldoorlog werden diverse villa’s gesloopt en percelen herverkaveld. Deze groene, ruim opgezette villaparken vormen echter nog steeds zeer bepalende onderdelen van de karakteristieke identiteit van Baarn. Het bebouwingsbeeld van Baarn wordt daarnaast gekenmerkt door een relatief grote hoeveelheid aan historische bebouwing. Er zijn de laatste jaren veel panden aangewezen als gemeentelijk of rijksmonument.
