Huset byggdes av sten. Mot öster och söder omgärdas Hildasholm av en två meter hög stenmur, mot väster vetter den mot Siljan. På 1910-talet låg det en stor bit mark mellan Hildasholm och kyrkogården till söder. Sedan dess har kyrkogården vuxit och gränsar nu till huset. Gårdsplanen är satt med kullersten och huvudbyggnaden omges av två likformiga flyglar.

Bortsett från ett härbre, ett stall och ett vagnslider är gården ett främmande men mycket vackert inslag i Leksandsarkitekturen.