Madame Kay a débuté au début des années 2000 sur la scène parisienne emo HxC underground. Le groupe s'appelle alors OMNI. Après s'être produit dans les salles parisiennes, ils sortent leur premier EP "Antonymes" en 2003. Le groupe se consolide ensuite en tant que groupe Pop Punk autour de ses trois fondateurs Jeremie Galan (Guitare), Jonas Mary (Batterie) et Frederic Spitz (Chant) et ils adoptent le nom Madame Kay.
Madame Kay signe avec le label RCA (SonyBMG France) fin 2005 et sort son premier album « Le choix de la rédaction » en février 2006. Lors de la production de leur album, la chaîne de télévision NRJ12 produit et diffuse le documentaire « Les dessous de Madame Kay » sur leur expérience en studio. Madame Kay tournent en France et en Belgique et sort deux singles, dont « Pourquoi tu pleures ? » qui atteint le Top 20 et leur permet de se produire dans l'émission "« Top of The Pops ».
En 2009, le groupe fait une pause suite au départ du chanteur Frederic Spitz pour les États-Unis où il va terminer ses études. Frédéric s'installe définitivement à New York en 2010 et commence à jouer et chanter dans le groupe The Johnny Pumps avec qui il sort plusieurs EP.
En 2022, Frédéric annonce le retour de Madame Kay avec une nouvelle chanson « Send Me to a Farm Upstate » et un nouvel album « The Fate of The Almost ». Il sort ensuite 3 démos de 2007 et en 2023, Fred sort de nouvelles chansons dont « Le seumeur » le 8 septembre 2023.
