Der Erbauer des ersten, burgartig angelegten und ausgedehnten Herrenhauses in Wommen, am Ufer der Werra, war Georg von Colmatsch, der 1552 ohne männliche Nachkommen starb. Aus dieser Zeit ist das eindrucksvolle Eingangsportal mit typischer Renaissance-Ornamentik erhalten. Die den Portikus umgrenzenden Friese zeigen im Flachrelief aus Buntsandstein u.a. schwer deutbare Gestalten, Fratzen, Masken und Putten. Über dem Portal das Wappen der Familien von Colmatsch und von Wangenheim mit der Jahreszahl 1535.

Nach dem Tod Georg von Colmatschs wurde das Schloss vom Landgrafen von Hessen der Familie Treusch von Buttlar als Lehen gegeben. In dieser Zeit sind vermutlich weitere Anbauten und Renovierungen vorgenommen worden. Nach dem Dreißigjährigen Krieg findet sich zum ersten Mal (1663) der Name von dem Brinck als Besitzer der Liegenschaften und Rechte in Wommen. Der kaiserliche Rittmeister Johan Eustachius von dem Brinck starb 1731 und wurde auf dem Friedhof in Wommen beerdigt. Eine Nachfahrin veräußerte Gut und Schloss an die Familie von Kutzleben. Der Besitz geriet später an den thüringischen Baron von Eichel-Schreiber aus Eisenach und wurde 1908 vom Kammerherrn Rudolf von Schutzbar genannt Milchling erworben. Unter seiner Leitung ist das heutige Schloss auf der Grundlage des alten Steinbaus des Georg von Colmatsch errichtet worden. Die vorhandene Anlage wurde durch einen Seitenflügel ergänzt. Das Schloss erhielt einen Turm, Balustraden wurden angefügt, die Gutsbauten erweitert und erneuert. Seit 1945 befindet sich im Schloss Wommen ein Alten- und Pflegeheim, das Margot-von-Schutzbar-Stift.