Le groupe Cowboy Junkies se forme entre 1984 et 1985 à Toronto, au Canada. Le guitariste et songwriter Michael Timmins commence cependant en 1979 à jouer avec le bassiste Alan Anton dans un groupe baptisé Hunger Project. Ce n'est que quelques années plus tard que les deux musiciens recrutent le frère de Timmins, Peter, à la batterie et leur soeur Margo au chant.
Quelques mois plus tard, le quatuor livre un premier opus sur son propre label, Latent Recordings, intitulé Whites Off Earth Now!!, qui emprunte plus au folk qu'à la country. La voix chaude et subtile de Margo Timmins fait ensuite sensation sur l'album The Trinity Session en 1988. La particularité de cet album -qui reste à ce jour encore leur fait d'arme majeur- est qu'il est entièrement enregistré dans l'église de la Sainte Trinité (Church of the Holy Trinity) de Toronto, à l'aide d'un seul microphone, en une seule nuit... Le disque obtient des critiques élogieuses de la part de la critique et trouve l'estime du public, notamment grâce à des titres comme « Misguided Angel » ou la reprise de « Sweet Jane » du Velvet Underground...
Les Cowboy Junkies sortent ensuite The Caution Horses en 1989, enregistré lui dans des conditions « normales ». Mais finalement, ce disque n'obtient pas le succès du précédent album. Les trois frères et soeur et Alan Anton sortent Black Eyed Man en 1992, un album plus influencé par le rock et le blues, qui leur vaut pour le coup d'excellentes critiques et une base de fans grossissante... Les Cowboy Junkies quittent finalement leur label RCA pour signer chez Geffen, chez qui ils sortent en 1996 l'album Lay It Down, un disque toujours plus orienté rock.
L'année 1998 voit le groupe revenir aux sources en quittant Geffen pour embrayer avec leur structure (Latent) et sortir un album live intitulé Waltz Across America, qui fait suite à Miles from Our Home (1998). Les Cowboy Junkies sortiront ensuite Open en 2001 et One Soul Now en 2004, avant de livrer un disque de reprises en 2005 (comprenant seulement deux inédits) intitulé Early 21st Century Blues, suivi de This Bird Has Flown, un disque-hommage aux Beatles, produit par Jim Sampas et incluant des collaborations avec The Donnas ou Dar Williams.
En 2006, un disque, baptisé Cowboy Junkies XX, célèbre les vingt ans d'existence du groupe, avec l'aide de l'artiste Enrique Martinez Celaya. En 2007, le groupe canadien sort At the End of Paths Taken, puis décide de sortir quatre albums d'une même série, Nomad Series, qui consiste à sortir quatre disques en dix-huit mois. Renmin Park: The Nomad Series, Vol. 1 sort en 2010, suivi en 2011 par Demons: The Nomad Series, Vol. 2, un disque de reprises du regretté Vic Chesnutt, vieil ami du groupe décédé quelques mois plus tôt, Sing in My Meadow: The Nomad Series, Vol. 3 voit le jour en octobre 2011 et le dernier volet The Nomad Series, Vol. 4: The Wilderness paraît en mars 2012. Les quatre volumes sont ensuite réunis dans un coffret.
Un autre coffret des trois albums Open, One Soul Now et At the End of Paths Taken sort en 2015 sous le titre Notes Falling Slow avec des titres supplémentaires. Il faut attendre l'année 2018 pour voir apparaître un nouvel album de Cowboy Junkies, le dix-septième en studio, All That Reckoning.
