Son histoire remonte au milieu du XVIe siècle lorsque Jean II de Buisson qui a épousé Charlotte de Mancip, héritière de Bournazel, décide de transformer la bâtisse médiévale de Bournazel en une demeure de plaisance de style Renaissance tout en préservant une partie de l'ancien logis (le logis de basse-cour, les deux tours circulaires de défense datant de 1430/1450 qui marquaient l'ancienne entrée principale et une partie de l'enceinte).
Il faut dire que Jean de Buisson est grandement influencé par ce nouveau style car il a lui- même accompagné François 1er dans ses guerres en Italie où la Renaissance a débuté au XVe siècle.
Les travaux principaux commencent d'ailleurs en 1542, alors qu'il est dans le piémont avec l'armée du roi. Son épouse, restée à Bournazel, se charge de conduire l'imposant chantier.
Tout ici doit représenter la culture du millequattrocento italien qui a tant impressionné le Seigneur de Bournazel. L'architecture retrouve alors sa noblesse dans un florilège d'ornementations dont la finesse témoigne de l'érudition de son créateur. Malheureusement, l'identité de cet architecte nous est inconnue, encore que certains avancent le nom de Guillaume Lyssorgues, Maître-maçon de son état, qui fut l'un des constructeurs du château de Graves.
 |
 |
Les façades sont d'authentiques sculptures sur lesquelles se mettent en scène les frises, les chapiteaux sublimés de personnages imaginaires, les lucarnes, les colonnes (doriques au niveau inférieur, ioniques au niveau supérieur et corinthiennes au niveau des lucarnes), les métopes (on en compte pas moins de quatre-vingts) aux représentations énigmatiques. Les formes classiques en disputent à l'iconographie, le théâtral à la mythologie.
Initialement, le « Château » devait comporter 4 ailes autour d'une grande cours rectangulaire. Deux seulement furent construites : l'aile nord et l'aile orientale ainsi que l'escalier d'honneur.
L'intérieur de l'édifice était destiné à la réception et devait refléter le rang du Maître des lieux. L'aile orientale comportait les cuisines au rez-de-chaussée, la grande salle dite « salle du billard » au 1er étage et la chapelle au niveau des combles. L'aile nord était réservée aux chambres.
C'est ainsi, de fière allure, qu'il va traverser les siècles jusqu'à ce qu'en 1790 il soit pillé et incendié lors d'une révolte paysanne contre des taxes seigneuriales.
Au XIXe siècle, une partie de l'aile orientale ainsi que l'escalier d'honneur furent détruits.
Une restauration partielle fut entreprise par Viollet-le-Duc après 1860, mais, fidèle à son habitude, le grand architecte intervint à son gré, sans tenir compte des plans d'origine ce qui aboutit à différencier les deux tours autrefois de même hauteur.
En janvier 1946, alors que le Château appartient à un industriel, Monsieur Victor GUIBERT, et à son épouse, demeurant tous deux à Millau, la société Charbonnages de France et la Caisse Autonome de Retraite des Ouvriers Mineurs (CAROM) louèrent la propriété pour y installer une maison de repos et de convalescence destinée aux mineurs relevant de maladie, d'opération ou d'accident.
L'été, le château servait également de colonie de vacances pour les enfants des mineurs.
Par acte des 11 et 13 décembre 1946, Monsieur et Madame GUIBERT le vendent finalement à la société Charbonnages de France qui l'acquière, mobilier compris, pour une somme de 4 millions de francs.
