Um notório mulherengo, Ray Charles casou-se duas vezes e foi pai de doze filhos com diferentes mulheres. Sua primeira esposa foi Eileen Williams (casado em 1951, divorciado em 1952) tiveram um filho. Outros três filhos são de seu segundo casamento, em 1955, com Della Beatrice Howard (divorciaram-se em 1977).