En 1444, un aveu d’un Guillaume de la Berruère au seigneur de Mondoubleau indique bien les deux logis successifs.

En 1521, Jean de la Berruère rend aveu au sire de Mondoubleau en ces termes: « Premièrement : mon manoir de la Berruère …consistant en court, courtil, jardins, colombier à pigeons, plesses et garenne à connins défensable, contenant en un tenant trois septerées ou environ, joignant de toutes parts aux terres et bois de ma métairie de Tesné…moulin à blé de la Berruère, appelé le petit moulin sur la rivière d’Esgrenne ».

En 1522, apparait le nom de Jean d’Illiers, gouverneur du Vendômois, « seigneur des Radrets à la Basoche-Gouet, du Tertre en Lignières et de la Berruère à Sargé, époux de Madeleine de Joyeuse, dame d’atours de Jeanne d’Albret, reine de Navarre.

En 1610, construction de la chapelle.

Entre 1651 et 1659, une correspondance, conservée aux Radrets, entre Michel Denyau, notaire à Mondoubleau, et messire Darrot, seigneur de la Poupelinière en Poitou et mari de Marguerite d’Illiers, dame de la Berruère, donne des précisions particulièrement intéressantes sur la Fronde dans le Perche. Dans celle du 27 mars 1652, on peut noter « …Son altesse, (le duc de Beaufort) ayant donné une telle épouvante dans tout le pays, que tout était perdu ; qu’il n’y avait espérance de sauver Vendôme ; si bien que tous les voisins y ont envoyé leurs femmes, filles et biens. Mr de la fredonière même y a envoyé Mme de Bessay et ses filles et meubles. Je lui avais dit de se loger à la Berruère , qu’il vous ferait faveur, mais qu’il n’y a trouvé sûreté quoiqu’à présent elle soit assez défensable ;…j’y ai fait faire ce que l’on croit nécessaire pour la défense. Fossé du côté Est du châteauJ’ai fait faire un grand fossé depuis le jardin jusqu’au bas du droit de la terrasse, afin qu’aucun homme de pied ni de cheval ne passe plus par votre terrasse que ceux que l’on voudra…Il y avait au droit de la cuisine un endroit faible, j’ai fait évasé le fossé et fait faire un bon talus de terre contre la muraille d’icelle cuisine. »

Environ l’an 1665, un aveu de René-Elisée Darrot au seigneur de Mondoubleau décrit ainsi l’ancien manoir : «une maison à demeure de fermier, une grange à escurie, estables à bestiaux et autres bâtiments couverts de tuiles, aussi enclos de murailles, un verger derrière, autres vergers avec un jeu de paume, le tout en un tenant ».

En 1670, un aveu de René-Elisée Darrot décrit ainsi les Radrets : « Maison noble de la Berruère composée d’un grand corps de logis couvert d’ardoises, auquel il y a une grande salle basse et haute chambre…le tout enclos de grands fossés et murailles, et pont levis au devant et au derrière, faits de l’autorité du roy lors des guerres civiles du royaume ».

Le château garde le nom de la Berruère de Saint-Cyr de Sargé jusqu’en 1677, date à laquelle Louis XIV accorde par lettres patentes signées au camp de Cambrai, en août 1677, de réunir en un seul fief les hommages et fiefs voisins de la Berruère de Sargé, sous le nom de « la Berruère des Radrets d’Illiers en Vendômois ».

Le 18 juin 1765, vente des Radrets, à l’audience du châtelet à Paris, à Louis Grégoire Mirleau de Neuville de Saint Héry, écuyer du roi, fermier général, époux d’Anne Racine, petite fille de Jean Racine.
Description de l’intérieur des Radrets en 1765, d’après des archives relatées par Jean Arnould : « Le château est rétabli à neuf dans le dernier goût. Il y a sept appartements de maître complet (…). La plupart des pièces sont parquetées (…) ; le tout lambrissé, tant à hauteur d’appui qu’à hauteur d’étage, peint et verni tout nouvellement, de belles glaces sur les cheminées, consoles et tables de marbres. Les cuisines sont très grandes et très commodes ».

En janvier 1768, est dressé un plan du site des Radrets avant le réaménagement concernant l’accès au château, les murs du jardin et du parc, et la rénovation de la chapelle.

En 1831, vente des Radrets à madame Marin de Montmarin, ancêtre des actuels propriétaires.