C'est avec son frère qu'elle va monter le groupe the Pips dans les années 50. Ils produisent quelques tubes, mais Gladys Knight & the Pips rencontrent véritablement le succès lorsqu'ils signent avec la Motown en 1966. Le public et les critiques sont unanimes, la voix saisissante de Gladys Knight est communicative et va faire la différence au sein du label. Ils deviennent rapidement les artistes les plus vendeurs de la Motown, avec leur son soul et gospel et leurs belles ballades romantiques.