Leonard Cohen pocházel z židovské rodiny. Jeho otec Nathaniel Bernard byl původním povoláním inženýr, který bojoval v první světové válce. Zemřel, když Leonardovi bylo 9 let. Jeho matka Masha pocházela z Litvy. Leonard Cohen měl o 5 let starší sestru Esther, se kterou si v dětství moc nerozuměl.
Leonard Cohen byl průměrný student a v žádném předmětu nijak nevynikal. Na střední škole poznal pozdějšího velkého přítele sochaře Morta Rosengartena. Cohena od dětství zajímala poezie a lidová hudba. Učil se na flétnu, ale neúspěšně. Zlomem byla koupě akustické kytary. Důležitým vzorem na literárním poli mu byl španělský básník Federico García Lorca. Na univerzitě se začal věnovat amatérskému divadlu, promoval v roce 1955.
Své první básně Leonard Cohen publikoval v různých časopisech již během studií. Jeho první sbírka vůbec, Let Us Compare Mythologies, vyšla v roce 1956. V Cohenově sbírce se promítala témata jako víra, ztráta, láska, sex či zájem o ženy. Následně začal studovat literaturu na Kolumbijské univerzitě, ale školu opustil v roce 1957.
V této době Leonard Cohen experimentoval s drogami, jako byly například LSD, hašiš či marihuana, ale také s amfetaminy. V roce 1963 napsal Leonard Cohen svůj první román Oblíbená hra a postupně mu vyšly básnické sbírky nazvané The Spice-Box of Earth, Flowers for Hitler či Parasites of Heaven. V roce 1965 dokončil i svůj druhý román Nádherní poražení.
Po nepříliš velkém úspěchu ve světě literatury se Leonard Cohen rozhodl zaměřit na hudbu. Nejprve napsal několik písní pro skupinu The Stormy Clovers, sám nevystupoval. V říjnu 1966 se rozhodl odjet do Nashvillu, aby zkusil štěstí na poli country hudby. Když však po cestě dorazil do New Yorku, svůj sen odložil. Začal se stýkat s lidmi z okolí Andyho Warhola a své písně nabídl zpěvačce Judy Collins. Ta dvě z ních (Suzanne, Dress Rehearsal Rag) vydala na albu In My Life (1966) a tři (Sisters of Mercy, Priests a Hey, That's No Way to Say Goodbye) na album Wildflowers (1967).
Leonard Cohen své debutové album Songs of Leonard Cohen vydal v prosinci 1967. Nahrával ho už od ledna. V americké hitparádě časopisu Billboard album obsadilo 83. příčku, ve Velké Británii se vyšplhalo dokonce na 13. místo. Složil také hudbu k několika filmům. Jeho nejznámější písní je "Hallelujah" z alba Various Positions (1984). Singl neměl žádný velký ohlas, dokud ho zpěvák John Cale nepřezpíval v roce 1991. Spolupracoval s hudebníky Elthonem Johnem, Stingem či Peterem Gabrielem.
V roce 1994 Leonard Cohen přerušil hudební dráhu a vstoupil do buddhistického kláštera Mount Baldy Zen Center v Kalifornii. V roce 1996 byl vysvěcen na zenbuddhistického mnicha a roku 1999 z kláštera odešel. Následně pokračoval v hudbě a věnoval se také kresbě. Nahrál celkově 14 alb, poslední deska You Want it Darker vyšla v říjnu 2016. Leonard Cohen zemřel 7. listopadu 2016 ve věku 82 let.