Filho de pai católico e mãe protestante, Connery começou a vida como leiteiro em sua terra natal e até ter sua primeira oportunidade na vida artística, num musical chamado South Pacific, serviu na Marinha Real, foi motorista de caminhão e modelo vivo para artistas do Colégio de Artes de Edimburgo. Nesta época ele foi terceiro colocado no concurso de Mister Universo de onde, através da insistência de um amigo, saiu para fazer os testes para a peça, que acabou lhe abrindo o caminho para o trabalho de ator nos palcos, na televisão e nas telas de cinema.
Após trabalhos menores no cinema e na televisão inglesa, entre o fim dos anos 50 e começo dos 60, Connery chegou à fama internacional na pele do agente James Bond no filme 007 Dr. No em 1962. Em 1971, depois de 007 Os Diamantes são Eternos, Connery deixou o personagem (ao menos por doze anos, já que voltaria a ele em 1983, no filme 007 Nunca Digas Nunca, uma refilmagem de 007 Operação Relampago, feita numa produção de menor qualidade e com um Connery já envelhecido e que se revelou um fracasso de crítica e de bilheteria, para investir numa carreira mais diversificada.