Arrivé à Paris en 1811, le peintre Ary Scheffer, artiste d’origine hollandaise, s’installe avec sa famille le 17 juillet 1830 au n° 7 de la rue Chaptal (actuel n° 16), dans une propriété construite par l’entrepreneur Wormser.

En prenant ses quartiers dans cette « nouvelle république des arts et des lettres », Ary Scheffer, professeur de dessin des enfants du duc d’Orléans depuis 1822, digne représentant de l’école romantique, affirme sa réussite. Ary Scheffer fait alors construire deux ateliers à verrière, orientés au nord, de part et d’autre de la cour pavée : un atelier de travail et un atelier de réception.Cette demeure connut durant 30 années une intense activité politique et littéraire.

Dans l’atelier-salon, Scheffer, portraitiste renommé sous la monarchie de Juillet, recevait le Tout-Paris artistique et intellectuel. Chacun exposait ses œuvres ou donnait lecture de ses pièces. Delacroix, Géricault viennent en voisin ; ils retrouvent George Sand avec Chopin et Liszt, mais aussi Rossini, Tourgueniev, Dickens.

D’autres artistes fréquentent l'atelier, comme Théodore Rousseau qui acheva rue Chaptal, La Descente des vaches. Ce tableau ayant été refusé au Salon de 1835, Ary Scheffer l’exposa en même temps que des toiles de Paul Huet et Jules Dupré, instituant ainsi une sorte de Salon des Refusés. Scheffer abrita également dans cet atelier une partie des collections de la famille royale qui devait quitter la France.

La maison est vendue à l’Etat pour un montant symbolique en 1956. Après avoir accueilli un centre universitaire d’enseignement et de recherche consacré à l’étude des sons et des couleurs, les époux Siohan entreprennent en 1980 des démarches afin de créer dans l’ancienne demeure du peintre « une institution culturelle à dominante muséographique ». L’Etat remet alors la gestion de l’immeuble à la ville de Paris en 1982 pour une durée de 18 ans.

L’annexe du musée Carnavalet, crée en 1981 prend ainsi le nom de « Musée Renan-Scheffer ». Son lancement se fait principalement grâce à une exposition organisée en 1984 par Dominique Morel. Néanmoins, sans réelles collections, le musée devait être re-pensé. Une nouvelle approche du musée est proposée en mettant en valeurs les bâtiments et la présentation des souvenirs de George Sand. Le musée prend alors l'appellation de « Musée de la Vie Romantique ».