張行1970年,張行就讀上海南京西路小學。1976年,張行畢業于上海成都北路第二中學,開始學習彈吉它和演唱流行歌曲。1979年年底,張行錄制第一盒個人獨唱磁帶。1981年張行在上海群益無線電廠當工人。
1984年1月,張行通過中國唱片社上海分社發行了他的首張個人專輯《成功的路不止一條》,其中包含《遲到》等歌曲在內,2個月銷售達到350萬；8月,張行獲上海青年吉他大獎賽吉它彈唱第一名。1985年,張行發行了第二盒磁帶《再愛我一次》。1988年11月,張行重返歌壇,發行了專輯《太陽雨》,包含《愛的星座》等歌曲在內,銷量達到200多萬；12月,發行專輯《三年后的張行》,里面包括翻唱歌曲《大約在冬季》以及原唱歌曲《再愛我一次》《絕對震》等在內。1990年1月,張行發行了專輯《再回首》,這是一張翻唱其他歌手的專輯；同年發行節奏較快的翻唱專輯《陽光夢》,里面包含童安格的《跟我來》及《少年路》。1992年發行專輯《今天我們去哪里散步》。1995年11月,張行演唱電視劇《牛子厚與富連成》的片頭曲《慢慢走》和片尾曲《春水》。1998年發行專輯《我又回來了》,這張專輯有多個版本,但均包含《我又回來了》《遲到》等歌曲在內。張行2000年開始,張行在CCTV歌唱節目《同一首歌》中演出,創作并演唱的歌曲有《一生里有你》《水姑娘》《永遠的鮮花》《夢中的烏篷船》等等。2002年5月,張行參與錄制鳳凰衛視《魯豫有約》訪談節目。2009年2月,出任中國教育電視臺《青春萬歲》欄目的總導演。2010年8月,張行通過在個人演唱會上《一生里有你》宣布復出,個唱之后張行做客天津衛視《今夜有戲》；9月和張薔一起做客李靜主持的《非常靜距離》及星空衛視《LADY呱呱》。2012年4月,參加東方衛視《舞林大會》半決賽,未能晉級。2013年6月,參加央視新聞頻道《舞出我人生》,為馬羚站臺,并演唱歌曲《站臺》。2014年5月,張行擔任“原創音樂頒獎晚會”表演嘉賓,并演唱作品《遲到》和《一條路》。2015年3月參加上海新娛樂《超級家庭》；4月參加北京衛視節目《檔案》；5月,張行跟隨妻子尹旎參加東方衛視《媽媽咪呀》的錄制；7月,助陣江西衛視《超級歌單》,并演唱《一條路》及《小蘋果》。
張行2010年9月,張行帶領中國明星高爾夫球隊的18位成員來到貴陽,參加高爾夫球隊友誼賽。此次友誼賽在名星高爾夫球隊和貴州企業家聯隊共同的努力下,共籌得慈善基金人民幣457萬元。2011年1月,受上海慈善基金會邀請,張行在上海舉行個人演唱會,票房收入捐獻公益事業。這次的上海演唱會,為規避假唱,張行帶領了一支60人左右的管弦與電聲組合樂隊為其進行現場演奏。
張行可以稱得上是中國流行歌壇開風氣之先的人物。在八九十年代,張行就以《一條路》《告訴我》等歌曲進入歌壇。大陸歌迷們也聽到了“小人物”的傾訴,歌迷的心靈被他深深地震撼了。那的確是一個單純的年代,張行用自己淳樸的心靈感受著同樣淳樸的流行音樂,沒有包裝與媚俗,沒有偽善與作秀,個人情感和流行音樂水乳交融地結合在一起。他的歌聲就像是經過打磨了的花崗巖,光滑了,細膩了,然而卻缺少了它應有的粗獷。九十年代的初期的張行以一盤《太陽雨》重返流行歌壇,但張行的《太陽雨》顯得平庸,蒼白,并沒有找到屬于自己的個性。因此這盤《太陽雨》就像在水面上打了一個水漂,沒有激起太多的浪花,就消失得無影無蹤了。
1985年7月,多家媒體曝出張行與多名女青年交往且發生性關系的經歷。1986年6月,經法院不公開審理,張行因犯流氓罪被判處有期徒刑3年。2010年2月,某女士將張行訴至法院,稱《魯豫有約》節目中,張行就流氓罪入獄的經歷發表了與事實不符的言論,構成了名譽侵權,因而索賠50萬。張行稱,在訪談中只是就個人經歷作陳述,涉及對象并不確定,也未出現該女士的姓名,因此這個訪談不構成對該女士的名譽侵權。法院最終判決該女士敗訴。