Une partie du château fut restaurée, juste assez pour pouvoir pérenniser l'ambiance d'antan et Balthus s'y installa avec tous ses accessoires de peinture et Léna Leclercq une amie poète et romancière qui partageât sa vie un moment (illustration 2).
Peu de temps après sa cousines par alliance Frédérique Tison se joint à eux. .Elle a 14 ans et elle est une fille de la femme de son frère Pierre Klossowski.Elle devient sa muse et compagne pendant les sept ans que Balthus passe au château de Chassy.
Elle posa pour ses portraits de filles préadolescentes, fragiles et vulnérables, symboles de l'innocence, à une intimité déconcertante suspendue dans le temps.
Balthus voulait immortaliser le moment suprême de la fuite de l'enfance pour "Maintenir à jamais ce que disparaît déjà"4.
Hormis son modèle le plus important, Frédérique, des jeunes filles des environs de Chassy vinrent également poser pour lui (illustration 4)
Ses paysages, il les peignait principalement à partir des fenêtres du château en passant d'une fenêtre à l'autre, d'un étage à un autre
C'est à partir de là qu'il fit la plupart de ses paysages. Ce fut une période très fructueuse : sur un total de 240 Huiles sur toiles il en peint 70 de Chassy. Il s'inspira des couleurs, de la lumière, les espaces plats et des paysages de la région
L'un des plus célèbre est le fameux "cour de ferme de Chassy" 1960 (illustration 5)
Comme le traduisait Robert Kopp5 "ce sont des paysages immobiles, d'un équilibre géométrique parfait, réduits à l'essentiel, ou le temps s'est arrêté, transformant hommes et bêtes en objets. Aucune dramaturgie, un décor fait de volumes, de lumière et d'ombre ... Hors du temps, la grande cour de la ferme, hors du temps, le troupeau de la vallée de l'Yonne, le paysan près de sa vache. Mais hors d'un espace géographique précis également."
Jusqu'à la fin de sa vie, Balthus traita des mêmes thèmes et des mêmes symboles : le chat, le miroir, l'intérieur intemporel et la jeune fille. (illustration 6) On voit les concordances avec Alice au pays des merveilles de Lewis Carroll qui fait descendre Alice dans le miroir et la fait atterrir dans un monde plein de miracles ou elle vit toutes sortes d'aventures. Balthus donna le titre à son tableau "Alice dans le miroir" en 1933 (centre G.Pompidou) en s'en inspirant. Mais on retrouvait toujours dans sa peinture, les intérieurs sombres avec des dessins et des tapisseries magnifiques dans lesquelles on retrouvait sa virtuosité de dessinateur de décors et costumes et qui respirait une intemporalité étrange, un temps figé !
Tel un ermite il sortait à peine, il n'avait pas de téléphone, ni eau ni chauffage et dans les cas extrêmes il téléphonait à l'hôtel-restaurant voisin. La population locale le connaissait comme Comte Klossowski de Rola et peintre mais il était surtout apprécié pour sa gentillesse et tous l'appelaient simplement "Balthus".
De temps à autre il y recevait quelques visiteurs comme son ami suisse peintre et sculpteur Augusto Giacometti et le galeriste Pierre Matisse de New York