Bakom den södra flygelbyggnaden hittar man de äldsta trädgårdsrummen, som anlades under 1910-talet: Påfågelsträdgården, som liknar en liten renässansträdgård med sina låga klippta infattningshäckar, Enbusketrädgården med höga pelarformade barrväxter och stora perennplanteringar och Den Nedsänkta Trädgården med sin lilla damm och sina avsatser i marktegel.
Denna del omgärdas i söder och öster av en nästan tvÃ¥ meter hög mur, pÃ¥ övriga sidor av en ännu högre granhäck, flygelbyggnaden och LövgÃ¥ngen av syrén, som skapar ett gynnsamt mikroklimat för växtligheten.
På den här sidan av huvudbyggnaden finner man även Lusthuset på nipan längst söderut, "Munthes grop" i ravinen intill och den lilla Rosenträdgården på stora husets kortsida.
Som små överraskningar ute i terrängen norrut ligger Fontänträdgården, Ekotemplet och Brunnsträdgården. En slingrande stig genom ravinerna leder hit.
På senare år har Medicinalträdgården tillkommit bakom receptionsbyggnaden och den återskapade Köksträdgården intill Norra flygeln.
Trädgårdarna på Hildasholm är Hilda Munthes verk. Så snart huset stod färdigt började hon skissa på olika små trädgårdsanläggningar - först i närheten av gårdens byggnader, senare allt längre ut i den stora vilda naturpark som utgör tomten.
Sitt trädgårdsintresse hade hon utvecklat redan i barndomen och hon hade vuxit upp med vackra klassiska trädgårdar omkring sig i England, Frankrike och Italien.
Hon hade även påverkats mycket av de ideal som förespråkades av den engelska Arts and Crafts-rörelsen.
Hildasholms trädgårdsrum är alla symmetriska i sin grundform, men sinsemellan mycket olika och inom sina ramar ganska fritt planterade. Man hittar inga exklusiva växter utan samma anspråkslösa och vardagliga blommor som vid andra hus i trakten: höstrudbeckia, luktpion, riddarsporre, fingerborgsblomma, daglilja...
Ändå liknar Hildasholm inga andra gårdar i Dalarna och Siljansbygden.
2005 utsågs Hildasholm till "Årets slottsträdgård" av tidskriften Gods & Gårdar.
2008 var Hildasholm en av tio finalnominerade i tävlingen "Sveriges vackraste park".