Na kytaru hraje od 15 let, kdy začal docházet na Střední průmyslovou školu strojnickou v Olomouci. Po škole se chvíli živil jako konstruktér, topič v olomouckém divadle a navzdory tomu, že nemá žádné hudební vzdělání se stal písničkářem.
Nejdříve Karel Plíhal hrál v olomouckých undergroundových country-swingových kapelách jako Hučka, Falešní hráči nebo Plíharmonyje a své první sólové vystoupení měl v roce 1983. Mezi léty 1985 až 1993 spolupracoval s Emilem Pospíšilem a v letech 1995-1999 ho doprovázel Petr Freund. Zahrál si také sám sebe ve filmu Rok ďábla.
Karel Plíhal je čtyřnásobný držitel ceny hudebního festivalu Porta. Složil hudbu k řadě inscenací Moravského divadla Olomouc, např. Zlatovláska, Manon Lescaut, Zimní pohádka, Cyrano atd.
Režíroval nahrávání některých alb např. Jarka Nohavici, Petra Fialy, bratří Ebenů atd. V roce 2006 vydal Karel Plíhal výběr svých básniček Jako cool v plotě doprovozené ilustracemi Miroslava Bartáka. Za své zatím posední album Vzduchoprázdniny, které vydal v roce 2012, získal cenu Anděl v kategorii Folk & Country.