Noch heute ist die Lagestelle der ehemaligen Burg im Gelände erkennbar. Es war eine mächtige von Gräben umgebene Hausberganlage auf einer Terrasse südlich des Steinbaches. Der Durchmesser des Erdkegels beträgt zwischen 30 und 40 Meter, der Graben ist 10 Meter tief und auf der Sohle zwei Meter breit. An der Ostseite der Hauptburg war eine Vorburg angeschlossen, deren Gräben heute eingeebnet sind.
In den 60er Jahren wurde am Burghügel eine Grabung durchgeführt, die ergab, dass sich Scherben der Zeit vor 1200 unter einer Brandschicht befanden und dass es sich um eine mächtige Steinburg gehandelt hatte. Die meisten Funde wie eine Grape, Butzenscheiben, Dachziegel, Ofenkacheln usw. stammten jedoch aus späterer Zeit und sind, wie die meisten Scherben, zwischen 1400 und 1550 zu datieren. Ein Teil des Plateaus dürfte einmal eingeebnet worden sein, vielleicht als die Jörger den Bugstall bekamen. Vermutlich wurde damals die Anlage im Stil der Zeit um 1450 wieder aufgebaut.
Typisch für Burgen damals war, dass sie von einer hohen Ringmauer umgeben waren, die einen verdeckten oder halbverdeckten Lauf hatte. Wegen des begrenzten Platzes in Schwabegg waren alle Gebäude sehr eng zusammengebaut und hatten drei Stockwerke. Der Hof war sehr klein, doch trotz der Enge befanden sich in ihm ein Brunnen und die Burglinde. Auch kleine, an die Mauer angebaute Stallungen zumeist für Pferde dürften vorhanden gewesen sein. Der massive Turm überragte alle Gebäude mit Blick in die mögliche Angriffsrichtung. Die Zugbrücke war so ausgeführt, dass sie vom Turm aus geschützt werden konnte. Die Dächer waren geschiefert oder geziegelt, in Schwabegg hatte man vermutlich wegen der vielen Funde von Dachziegel, eine Ziegeldeckung. Das Wohngebäude, der Palas, war im Gegensatz zu den hochmittelalterlichen Burgen schon wohnlicher ausgeführt. Die Fenster waren mit Butzenscheiben versehen.
In der Vorburg befanden sich die Wirtschaftsgebäude. Sie bestanden aus einem Wohn- und Stallbereich, der durceh einen Mittelgang getrennt war. Die Häuser waren in Blockbauweise gefertigt und mit Stroh oder Holz gedeckt. Auch Gemüse- Kräuter- und Blumengärten hatte man in der Vorburg.
Autoren: Irene und Christian Keller, 2010
Die Jörger von Tollet und ihre Zeit. Glaube, Macht und Untergang eines protestantischen Adelsgeschlechtes - Dokumentation zur Sonderausstellung im Schloss Tollet im Zuge der OÖ. Landesausstellung 2010.