Holmen gård var nevnt i skatteliste allerede i 1667. Gården var krongods fram til 1720. Etter 1723 ble Holmen odelsgods.
Gårdstunet har ligget nede ved Lågen, og gårdsnavnet var da Sundholmen. Etter Storofsen i 1789, ble tunet flyttet dit det er i dag.
Her var det skysstasjon og gjestegård fra 1820 til 1898. Postombringing og person-befordring krevde opptil 20 hester på stallen.
All denne trafikken gjorde at Holmen ble et sentrum i bygda, og gården ble et naturlig valg da Stavsmartn skulle flyttes. Den ble arrangert her i årene 1839 til 1856. Bygningen som opprinnelig var gjestgiveri i forbindelse med skysstasjonsvirksomheten, ble flyttet nord for garden som føderådsbygning. Etter krigshandlingene og brann i 1940 etablerte Klara Olsen seg her med Solvang Pensjonat.
I Sundstugua, på Sundhaugen nederst på Holmenjordet, bodde sundmannen som fraktet folk og hester over Lågen og sørget for forbindelse mellom begge sider av elva. Mangeårig sundmann var Arne Sundhaugen. Siste sundmann var Johannes Olsen Lågåtonsveen, (Jehans Lindrud) som virket fra 1893 til 1895 da brua over Lågen sto ferdig. Sundhaugstua ble flyttet til den nye riksvegen (riksveg 50) i 1908.