Syn z židovské rodiny Ivan Klíma, rodným jménem Ivan Kauders, strávil tři a půl roku v koncentračním táboře Terezín. Dostal se z něj ve 14 letech. Po gymnázium vystudoval Filozofickou fakultu Univerzity Karlovy v Praze.
Poté Ivan Klíma psal do časopisu Květy, v letech 1959 až 1963 působil v nakladatelství Československý spisovatel a posléze přispíval do řady periodik.
V roce 1953 Ivan Klíma vstoupil do KSČ. V roce 1969 odjel do USA, kde působil jako hostující profesor na Michiganské univerzitě. Po návratu do Československa roku 1970 byl již zakázaným autorem, publikovat mohl jen v samizdatu a exilu a živil se dělnickými profesemi.
Mezi nejúspěšnější díla Ivana Klímy patří Hodina ticha, Milenci na jednu noc, Soudce z milosti, Už se blíží meče, Moje první lásky, Velký věk chce mít též velké mordy, Premiér a anděl či Moje šílené století.
V roce 2002 mu byla udělena Cena Franze Kafky za celoživotní dílo a knihu Velký věk chce mít též velké mordy o životě a dílu Karla Čapka a od tehdejšího prezidenta Václava Havla převzal Medaili Za zásluhy I. stupně. Roku 2010 Ivan Klíma dostal cenu Magnesia Litera za paměti Moje šílené století.
Ivan Klíma, syn vynálezce a světového odborníka na silnoproudé motory Viléma Klímy, se v roce 1958 oženil s psychoterapeutkou a publicistkou Helenou Klímovou. Mají spolu syna Michala, novináře, vydavatele a mediálního manažera.