Das Château Frontenac prägt das Bild der Altstadt wie kein anderes Bauwerk. Das nach Louis de Buade, Comte de Frontenac, Gouverneur von Neufrankreich (1672-82, 1689-98) benannte Hotel wurde am Standort des Château Haldimand errichtet. Dieses "Vieux Château" ("altes Schloss") war 1786 als Residenz für Gouverneur Frederick Haldimand direkt gegenüber vom Château Saint-Louis erbaut worden, wo sich die Verwaltungs- und Empfangsräume der Kolonialregierung befanden. Die Idee, an diesem Standort ein Luxushotel zu errichten, kam 1880 auf, als Lord Dufferin zahlreiche Vorhaben zur Verschönerung der Stadt initiierte.