Billy Paul volgde een muzikale opleiding en trad op in clubs en op universiteiten. Zijn groeiende populariteit leidde uiteindelijk tot optredens met Charlie Parker, Miles Davis, Dinah Washington, Nina Simone, Sammy Davis jr. en Roberta Flack. Zijn eerste single, bij Jubilee Records, verscheen in 1952.

Hij won een Grammy Award voor zijn zangprestaties in het nummer ‘Me and Mrs. Jones’ uit 1972, geschreven door Kenny Gamble, Leon Huff en Cary Gilbert. Dat was ook zijn enige nummer 1-hit, tijdens de laatste drie weken van 1972.