Był ważną postacią "Lwów z Lizbony", chyba najsłynniejszej drużyny w dziejach Celticu, która w 1967 roku zdobyła Puchar Europy po dramatycznym meczu przeciwko Interowi Mediolan. W tamtym spotkaniu Gemmell zdobył wyrównującą bramkę i na zawsze zapisał się w historii europejskiej piłki. W Celticu grał przez 10 lat (1961-1971), a karierę zawodową zakończył w Dundee F.C. w 1977 roku.

 

Gemmell wystąpił także w innych, historycznych meczach, które do dziś wspominają szkoccy kibice. Grał w innym finale Pucharu Europy, przegranym przez Celtic z Feyenoordem Rotterdam w 1970 roku. W reprezentacji Szkocji rozegrał 18 spotkań, a jednym z nich było słynne zwycięstwo nad ówczesnymi mistrzami świata, Anglikami, na Wembley w 1967 roku (3:2).

 

Hołd zmarłemu oddał m.in. były bramkarz reprezentacji Irlandii Shay Given.