Ramsey grał w Bostonie w czasach kiedy drużyną opiekował się legendarny szkoleniowiec Red Auerbach. Siedmiokrotnie przyczynił się do zdobycia przez klub mistrzowskiego tytułu w latach 1957 oraz 1959-1964.

W Boston Celtics zastrzeżony jest numer jego koszulki 23, natomiast w Uniwersytecie Kentucky, w którym wcześniej występował, numer 30.

W NBA Ramsey rozegrał 721 meczów i zdobył 8378 punktów. W 1981 jego nazwisko znalazło się w koszykarskiej Galerii Sławy.

Karierę zawodniczą zakończył w 1964 roku.