První písemná zmínka o zámku Schwertberg pochází z roku 1327. Od roku 1911 patří zámek hraběcí rodině Hoyosů.

Zámek Schwertberg byl postaven ve druhé polovině 13. století na skále nad řekou Aist a zaujímal tehdy v podstatě starou část dnešního zámku (věž, nádvoří, obytná budova). V roce 1563 patřil Georg Erasmus von Tschernembl k nejvýznamnějším politikům a mluvčím protestantských stavů země Österreich ob der Enns, zhruba dnešního Horního Rakouska. Rod Tschernemblů zámek zvětšil a přestavěl na panské sídlo ve stylu renesance. Dalšími majiteli byli Meggauerové, Starhembergové a Kueffsteinové a v roce 1749 se dostalo panství Schwertberg-Windegg do vlastnictví Thürheimů. Od roku 1911 vlastní zámek Schwertberg Hoyosové.