All the While è stato pubblicato il 25 marzo 2008 da Jenna Nicholls come parte dell'album Curled Up Toes In Red Mary Janes