Het oudste gedeelte van Huys te Warmont werd rond 1300 gebouwd door de familie Van der Woude, de heren van Warmond. Mogelijk is de linker voortoren een middeleeuwse donjon. Eind 16de eeuw was dit de woonplaats van Johan Duvenvoirde, de admiraal van de Watergeuzen tijdens het Beleg van Leiden. Het huis werd verwoest, maar weer opgebouwd met stenen van afgebroken Warmondse kloosters. Door aanbouw van twee vleugels in de 17de en 18de eeuw kreeg het kasteel de huidige U-vorm. Huys te Warmont is tegenwoordig in bezit van de Vereniging Hendrick de Keyser en wordt particulier bewoond door meerdere huurders.