Au début du 18e siècle, un fort dont deux tours subsistent est construit tout près par l’abbé François Vachon de Belmont. Puis au courant du 19e siècle le fort fait place au Grand Séminaire, ses jardins et la pièce d’eau rappelant le Grand canal du parc de Versailles construit sous Louis XIV. Avant la fin de ce siècle, l’avenue Sherbrooke, bordée d’ormes majestueux, de maisons de ville et d’hôtels particuliers appartenant aux princes marchands de la nouvelle nation, est considérée comme l’avenue Foch l’était à Paris.

À cette époque, des familles bourgeoises font construire des maisons aux 1657 et 1659, avenue Sherbrooke Ouest. La première par James Seath-Smith, architecte, collectionneur et propriétaire de la première automobile de Montréal. Il n’omet rien, ornant sa résidence de boiseries, de marbres italiens et de devantures de cheminée dans le style hollandais. Quant à la seconde, elle est construite pour le compte de l’honorable Narcisse Pérodeau, 14e lieutenant-gouverneur du Québec.

Il faut attendre 1958 pour que Marie-Louise et André Villeneuve transforment la maison sise au 1959 en petit hôtel, le Versailles Lodge. La famille acquiert par la suite les maisons adjacentes, constituant ainsi le Château Versailles tel qu’on le connaît aujourd’hui. Quatre maisons, quatre styles et quatre histoires réunies sous un même toit.