高中时期，青山进入省立台北商业学校夜间部就读，白天则在陆军供应司令部上班，成为他生命的转折点。当时有一位音乐老师在听了他演唱的“偶然”，认为他是可造之材，一定要收他为徒，教他声乐同时练钢琴，为正式的音乐启蒙。1965年，高中毕业后，青山原有意朝专业领域发展，他报考专业音乐科，可惜未能如愿。考入幸福合唱团，并加入幸福唱片灌录唱片。 同年在正声电台节目中主持并主唱．这时青山决定放弃正统音乐的途径，于音乐中加入不少流行歌曲的元素，他以“我想忘了你”、“夏日恋情”两首歌，成为林福裕领导的幸福合唱团的团员，同年在正声电台“我为你歌唱”节目主持并演唱。1966年进入军中服役，成为宪光工艺队的一员。1968年5月退伍之后，青山与丽歌唱片签约，随后被介绍给的台视群星会制作人慎芝，六月在丽声歌厅演唱慎芝非常欣赏青山的歌艺，除了不断邀他上节目，并安排他与婉曲搭档，两人最后成为大众嘱目的歌唱情侣。1969年，第一次出国表演。青山大部分的成名曲都是在丽歌所灌录，虽然之后他转到生产量更大的海山唱片发展，但成绩未若现歌时期出色，离开海山之后，青山未再与国内任何一家唱片公司签约，并远赴国外演唱。
1995年复出回台，三月参加“群星颂”演唱会，1970年，参加《风流表哥俏表妹》、《痴心的人》、《退票新娘》》、《福禄寿》、《添福添寿》、《不要让太太知道》等电影演出，并客串《新骗术奇谈》、《歌迷小姐》等影片。1972年，主持台视《群星会》节目，前后大约五年。1987年，因为母亲过逝，淡出歌坛。1994年11月，与吴静娴在正声电台主持《我为你歌唱》节目，重返演艺圈，后来经常在香港参加怀旧金曲演唱。1995年， 三月参加《群星颂》演唱会,是复出后首次在台湾演出.曾主持华视《劲歌金曲五十年》的老歌节目。2002年，与胡锦、凌波主演话剧《梁祝》，演绎老师角色。2004年，10月首次来大陆，在上海兰心剧院开个人演唱会。代表歌曲有“泪的小花”、“太湖船”“寻梦园”、“明日天涯”等。