Les premiers possesseurs du donjon de Gayette dont on trouve les noms, quittances ou autres dans les archives remontent en 1437. On trouve connu sous les noms de Nesmond, celui qui fut ensuite désigné Lhermite de Gayette, de lui nous ne savons plus rien ou peu de choses.
Jehan de Gayette, fils de Lhermite, mourut en 1474, ne laissant que trois filles : Guilberte, mariée au seigneur de Valorgues, Catherine, religieuse au prieuré de Marcigny et Madeleine, qui fut la dernière châtelaine de Gayette. La duchesse Anne de Bourbon fut la marraine de Madeleine de Gayette, qui avait à peine 10 ans quand sa marraine lui fit épouser son jeune chambellan François de Boucé, et la nomma presque aussitôt dame d’honneur de la petite Suzanne. En 1494, sans doute après la mort de son beau-père, François de Boucé fit hommage au duc, de ses deux fiefs de Gayette et de Boucé. Gayette est un château féodal qui remonte au XIVe siècle, avec son pont-levis, ses créneaux, ses meurtrières et son mur d’enceinte. Quand il fut construit au XVe siècle, une merveilleuse enceinte d’eau et de forêts l’entourait. Les étangs furent desséchés et transformés en prairies, qui séparent les anciennes chaussées. Là, il perdit un peu de son aspect féodal. Ce fut sous François Ier que Gayette est passé des mains des seigneurs de Gayette à celles des Paingré de Farinvillier. On ne connaît pas exactement la date et le temps où eut lieu ce changement, mais ce fut certainement après le passage et le séjour du connétable de Bourbon, et le procès de Madeleine de Gayette en 1594. Ce fut à cette date que Madeleine reçut en son château les deux émissaires des rois de France et d’Angleterre. André Calin, émissaire de François Ier, avertit Madeleine de faire fuir le connétable, car l’émissaire du roi d’Angleterre, Henri VIII, Jean Russel était à la recherche de celui-ci pour demander l’entrée en France des troupes impériales par la Picardie. L’un de ces émissaires fut découvert, arrêté à Moulins, où il fut mis à la torture pour livrer les noms de ses hôtes. Il nomma Madeleine de Gayette qui fut aussitôt arrêtée, emprisonnée pendant plus d’un mois, et eut à subir de longs et nombreux interrogatoires qui nous livrèrent de précieux renseignements.
Source : Wikipédia
Il est dans une maison de retraite et peu visible de l'extérieur.