Schon in der Römerzeit führte ein Weg durch Kalksburg, damalige Hauptverbindung war damals allerdings die heutige Klause nach Mauer. Um 900 n.Chr. drangen Reitervölker der Magyaren über dieses Gebiet bis Bayern vor und konnten erst ab 955 n.Chr. wieder zurückgedrängt werden. Die älteste urkundliche Erwähnung findet sich 1188 n.Chr., Graf Gebhard von Sulzbach wird dabei als Herrschaft über die „Chalbsberger“ genannt. Es kann allerdings bis heute nicht eindeutig geklärt werden, ob der Begriff „Chalb“ von Kalk oder Kalb stammt. Um vor weiteren Einfällen geschützt zu sein, wurden etliche Burganlagen an strategisch wichtigen Punkten errichtet, so auch auf dem Venusberg in Kalksburg. Die erhöhte Lage bot einen hervorragenden Überblick über das Gütenbachtal, über das Liesingtal weit in den Südosten sowie über die damals wichtigste Verkehrsverbindung, über die Klause. Urkundlich gesichert gilt die vermutlich schon früher errichtete Burg jedenfalls ab 1327 n.Chr. Über 100 Jahre später wurde sie allerdings von marodierenden Söldnerheeren besetzt, die die Gegend in Angst und Schrecken versetzten, bis eine Bürgerwehr im Juli 1463 mit der völligen Zerstörung der damaligen „Calsburg“ dem Treiben ein Ende setzte. Heute sind von dieser einstigen Burg nur noch einzelne behauene Steine zu sehen.
Von den Römern über die „Calsburg“ bis zu den Jesuiten
Ärmliche Verhältnisse bestimmten fortan das Geschehen. Ab 1609 fiel der Ort unter die Herrschaft des Jesuiten-Ordens, deren Brüder nebst der Land- und Forstwirtschaft und Viehzucht auch den Naherholungswert zu schätzen lernten. Sie bauten an der Stelle der heutigen Pfarrkirche ein kleines Gotteshaus, welches samt der anderen spärlichen Ansiedelungen 1683 im Zuge der Türkenbelagerung zerstört wurde. Wenige Jahre später konnten die Jesuiten eine neue Kirche errichten und setzten ihre Tätigkeiten in „Kalchsburg“ fort.
Mitte des 18. Jhdts. entdeckte auch die Kaiserfamilie die Schönheiten dieser Wienerwaldregion, nachdem sie immer wieder bei Carolina Fürstin von Trautson, einer Hofdame von Maria Theresia, zu Gast war. Die Fürstin hatte eine bestehende Liegenschaft am Gelände des heutigen Kollegiums zu einem barocken Landsitz umbauen lassen und nannte diesen gesellschaftlichen Treffpunkt „Mon Perou“.
Zur gleichen Zeit hatte sich der am 1. Jänner 1730 in Wien geborene Franz Mack mit viel Fleiß zum Hof- und Kammerjuwelier emporgearbeitet. Er genoss das volle Vertrauen von Maria Theresia und ihrem Gemahl Franz I., und begleitete später auch deren Sohn, Josef II, bei einigen Auslandsreisen. Nachdem der Jesuitenorden 1773 verboten wurde, ging die Grundherrschaft über Kalksburg an die k.k.Staatsgüterdirektion über. Der wohlhabende Franz Mack - mittlerweile besaß er schon mehrere Häuser in Wien - und seine Familie siedelten sich ab den 1780er-Jahren in Kalksburg an. Mack übernahm „Mon Perou“, kümmerte sich um den Ausbau der Verkehrswege, übernahm die Erhaltung einer bereits bestehenden Schule in der heutigen Mackgasse und errichtete 1787 das bekannte Steinhaus am heutigen Promenadeweg. Besonders aufwendig gestaltete er den Garten rund um „Mon Perou“ im englischen Stil.