Am 30. Dezember 1804 wurde im Haus Stadt 139, heute Linzer Straße 21, Karl Adam als Sohn des bürgerlichen Gastgeberehepaares Kaspar und Anna-Maria Kaltenbrunner, Besitzer des Gasthauses „Zur Goldenen Krone“ geboren. Aber kaum war das Kind ein Jahr alt, verkaufte der Vater das Gasthaus und übersiedelte nach Scharnstein im Almtal. Bereits im Jahr 1808 zog es die Familie wieder zurück nach Enns. Es wurde ein Haus in der Wiener Straße, damals Nr.101 gekauft. 

In Enns ging Carl Adam Kaltenbrunner in den Jahren 1810 bis 1816 zur Volksschule, dann kam er, da er sich schon in der Volksschule als  sehr gelehrig und intelligent erwiesen hatte, ins Stiftsgymnasium in Admont, wo er bis 1821 blieb. Danach besuchte er das Staatsgymnasium in Linz, wo er 1823 maturierte. Auch nach seiner dienstlichen Berufung 1842 nach Wien in die k.k. Hof- und Staatsdruckerei, wo er 25 Jahre lang wirkte und bis zum Vizedirektor dieses Kunstinstitutes aufstieg, blieb er aufs engste mit seinem Heimatland Oberösterreich und besonders mit seiner geliebten Vaterstadt Enns verbunden.