Atkins karriär började 1966 då han sjöng i olika lokala jazzband. 1969 kom han i kontakt med Ian Hill, som just hade bildat bandet Freight tillsammans med sin klasskompis K.K. Downing. Atkins gillade inte namnet och han föreslog att bandet skulle byta namn till Judas Priest, efter ett band han sjungit i tidigare och som även innehöll gitarristen Ernie Chataway, basisten Bruno Stapenhill och trummisen John Partridge. Han fick idén från Bob Dylans sång "The Ballad of Frankie Lee and Judas Priest". Efter ett drygt års turné i sin hemstad Birmingham fick bandet chansen att spela in en demo, vilket gjorde att Tony Iommi blev intresserad av dem, men de fick inget skivkontrakt. Dock fortsatte bandet att turnera och de hade snart en stabil skara med fans.
Eftersom Atkins hade en dotter att försörja var han tvungen att lämna bandet 1973 för att skaffa ett jobb. Han ersattes av Rob Halford, som fick sjunga många sånger som ursprungligen skrevs för Atkins. Albumet Rocka Rolla innehåller många låtar från Judas Priests fem första år, och alla sånger på albumet har framförts live med Atkins. Atkins bildade senare bandet Lion som inte lyckades med något förutom att spela in en demo. Sedan dess har han satsat på en solokarriär, och på hans soloalbum Victim of Changes medverkar Ian Hill och K.K. Downing.