Push Yourself foi lançado em 18 de maio de 2004 por Hymen Records como parte do álbum Taking Nothing Seriously