A színész 1929. április 10-én született a svédországi Lundban értelmiségi családban, anyja tanár, apja etnológus volt. Tizenöt évesen barátaival színjátszó csoportot alakított, Strindberg- és Hjalmar Bergman-darabokat mutattak be. 1948-ban beiratkozott a stockholmi Királyi Drámai Színház színiiskolájába. Először 1949-ben állt felvevőgép elé, egy béresfiút alakított Alf Sjöberg Csak egy anya című filmjében. A diploma megszerzése után játszott a malmői és norrköpingi színházban, majd 1960-ban a stockholmi Királyi Drámai Színházhoz szerződött. Színpadi alakításai közül kiemelkedett az Ingmar Bergman rendezte Peer Gynt címszerepe, de több Shakespeare-darabban is nagy sikert aratott.

Az első kisebb filmszerepek után az igazi áttörést Berg­mannak köszönhette, aki rábízta A hetedik pecsét című filmjének egyik főszerepét, a halállal párviadalra kelő kereszteslovag figuráját. Ezt követően csaknem tizenöt éven keresztül Bergman egyik vezető színésze lett, játszott többek között a Szűzforrás, az Úrvacsora, a Tükör által homályosan, a Szégyen, a Farkasok órája, valamint a Szenvedély című filmben.

1960-ban az amerikai George Stevens Minden idők legnagyobb története című bibliai tárgyú filmjében Jézust alakította, s bár a film bukás volt, a magas, szikár, kemény arcélű, jellegzetes karakterű svéd színész egyértelmű tetszést aratott a tengerentúli közönség és a kritikusok körében is. Hazatérve Jan Troell több filmet is forgatott vele, közülük is kiemelkedik az 1996-os Hamsun, amelyben mély drámaisággal idézte meg a kiváló tehetségű, ám politikai útvesztőbe tévedt Nobel-díjas norvég író alakját.

Nemzetközi filmes karrierje az 1970-es évek elején indult, az angolul, franciául és olaszul folyékonyan beszélő színész leggyakrabban Hollywoodban dolgozott, de feltűnt angol és olasz filmekben is. A rendezők szívesen foglalkoztatták a mély érzésű, zárkózott, belső konfliktusaiban őrlődő, szellemileg kiemelkedő férfi szerepében, ám sokoldalú jellemábrázoló képessége miatt kalandosabb, akciókban gazdagabb, szórakoztató tömegfilmekben is megállta a helyét.

Emlékezetes alakítást nyújtott Az ördögűző, A keselyű három napja, a Menekülés a győzelembe, a Flash Gordon, a Hannah és nővérei, a Dredd bíró, az Ellenséges vizeken, a Csodás álmok jönnek, a Különvélemény című filmekben. Pályájának különlegessége, hogy a színészeknek ahhoz a szűk köréhez tartozik, akik eljátszották már Jézust (Minden idők legnagyobb története) és az ördögöt is (Hasznos holmik).

A nyolcvanas évektől a dán Bille Augusttal több nagysikerű filmet készített: a Hódító Pellét (a legjobb idegen nyelvű film Oscar-díját elnyerő alkotásban őt is az aranyszobrocskára jelölték a legjobb férfi főszereplő kategóriában), a Bergman önéletrajzi forgatókönyvéből készült A legjobb szándékok címűt és a Jeruzsálemet.

A kilencvenes években olyan nagy sikert aratott alkotásokban szerepelt, mint a Krzysztof Zanussi rendezte Csendes érintés, a Stephen King könyve alapján készült Hasznos holmik vagy a Scott Hicks nevével fémjelzett Hó hull a cédrusra.

Az utóbbi évek filmterméséből kiemelkedik a Martin Scorsese rendezésében, Dennis Lehane művéből készült Viharsziget, Stephen Daldry filmje, a Rém hangosan és irtó közel (amelyért nyolcvankét évesen 2011-ben a második Oscar-jelölését is megkapta). 2015-ben a Star Wars-sorozat Az ébredő Erő című részében Lor San Tekkát játszotta, és szerepet kapott Thomas Vinterberg 2018-as opuszában, a Kurszkban is.

A hetvenes évek elejétől több tévés sorozatban is feltűnt, játszott a Kolumbusz Kristóf, a Quo vadis? epizódjaiban, a világszerte népszerű Tudorokban Waldburg kardinálist alakította, legutóbb pedig a Trónok harca című, kultikussá vált amerikai televíziós sorozat hatodik évadában a Háromszemű Holló bőrébe bújt. Ez utóbbiért Emmy-díjra is jelölték 2016-ban.

Bár két Oscar-jelöléséből egyet sem sikerült díjra váltania, művészetéért számos rangos elismerést kapott, így egyebek között a Hódító Pelléért elnyerte a Bodil-díjat és az Európai Filmdíjat, 2006-ban a San Sebastián-i Filmfesztiválon életműdíjat kapott, 2017-ben a Los Angeles-i filmkritikusok szövetsége (LAFCA) ugyancsak életművéért ismerte el, 2012-ben pedig a francia Becsületrend lovagja lett.

Mozgalmas pályájának köszönhetően a világ több pontján élt huzamosabb ideig, második feleségével, a filmrendező Catherine Brelet-vel 1997 óta Párizsban élt, s 2002-ben megkapta a francia állampolgárságot is.