生於台灣新竹的呂紹嘉幼時學習鋼琴，在國立台灣大學就讀心理學系時擔任合唱團伴奏，因緣際會認識指揮陳秋盛，受其鼓勵因而踏上指揮路。他曾擔任德國柏林喜歌劇院、漢諾威國家歌劇院等劇院，以及 Taiwan Philharmonic (台灣愛樂) 的音樂總監，演出足跡遍及全球。 呂紹嘉與 Taiwan Philharmonic 合作時，不僅錄製古典音樂經典，例如貝多芬的《第七號交響曲》、布魯克納的《第四號交響曲》、理查 · 史特勞斯的《家庭交響曲》和台裔瑞士籍大提琴家楊文信現場演出的艾爾加《大提琴協奏曲》，他也積極拓展台灣的樂曲和其他當代作曲家的作品，包括錢南章以台灣傳統民歌為藍本創作的《四首原住民藝術歌曲》(4 Aboriginal Art Songs)，以及旅法華人作曲家陳其鋼的《二黃》(Er Huang) 等。