Sus inicios datan de 2003, y entre 2006 y 2007, se dedicaron a lanzar sencillos y EPs. No es sino hasta 2008 que sacaron el primero de tres discos homónimos que han sido reconocidos mundialmente. De su segundo disco se desprenden los sencillos “Celestical”, “Baptism” y “Not in Love”; en el cual tuvieron la participación de Robert Smith. Para su tercer álbum lanzaron el sencillo “Plague” con bastante éxito. En 2014, Alice Glass decide abandonar el dúo, pero Ethan Kath se mantiene para lanzar en 2014 el sencillo “Frail”.