Das Haus der Familie Schaller war ehemals Stiftshof des Chorherrenstiftes St. Nikola bei Passau. Es diente als Verwaltungsgebäude für dessen Besitzungen im Lande ob der Enns sowie als Sammelstelle für die Naturalabgaben, die auf dem Donauwege nach Passau verschifft wurden.
Eine mit Spätrenaissancerahmen und Wappen geschmückte Marmortafel, die ursprünglich über einem Kellerabgang des 1976 wegen Baufälligkeit abgetragenen Zehentstadels angebracht gewesen ist, befindet sich jetzt an der Straßenseite des Hauptgebäudes. Sie weist auf das Jahr 1640 hin, das erste Jahr der Regentschaft des aus Schärding stammenden Johannes Nikolaus Proyer als Propst des Klosters, der den Bau fortsetzte.
Ein weiterer Gedenkstein befand sich auf einer Mauer, die nicht mehr vorhanden ist, von der aber noch E. Hainisch berichtet. Die Inschrift lautete:
„16 F. C. S. S. N. E. M. P. 25“. Das bedeutet „Fredericus Carolus Sanctorum Nicolai et Magni Praepositus“. Friedrich Karl Haider war von 1623-1639 Propst der Stifte St. Nikola und St. Mang. Die Zahl 1625 ist identisch mit der bis zur Renovierung des Hauses im Jahre 1977 zwischen den Fenstern des zweiten Stockes vorhandenen Jahreszahl.