林輝雄出生於臺南州虎尾郡土庫街(現雲林縣土庫鎮)的農村,就讀臺灣省立嘉義師範學校(現國立嘉義師範學院),拳擊成為生平接觸的第一種運動;經過拳擊體能訓練,無形培養出田徑的潛力,首次參加校運會,跳遠、三級跳遠及400公尺均榮獲第一名並打破學校紀錄;1971年代表參加嘉義縣中小學聯合運動會,400公尺榮獲銀牌,僅次於前一年榮獲中上運動會的金牌選手。就讀臺灣省立嘉義師範學校(現國立嘉義師範學院)期間,同時參與學校棒球隊訓練以及班際各項球類比賽。畢業後返鄉服務,每年代表土庫鎮參加雲林縣運會田徑、籃球與排球比賽,1972年首度參加縣運會即以黑馬之姿榮獲田徑賽400公尺第一名並創新全縣記錄。服務國民小學三年期滿,報考體專並以田徑專長入學,在學期間加入棒球隊。三年術德兼修的專業訓練,奠定從事體育運動的基礎,畢業後服役軍官學校,再回到母校服務,服務國立臺灣體育運動大學長達39年,為國立臺灣體育運動大學競技運動學系名譽教授。由助理助教到教授,其間擔任過體育衛生組主任、夜間部主任、三專體育科主任、訓導主任、競技運動學系主任及主任秘書等行政職務。長年從事體育教學、運動訓練並兼任行政工作。服務臺體初期,原先參與學校棒、壘球隊的訓練工作,1971年受命組訓男子隊參加第二屆大專手球錦標賽;手球運動在國內發展初始,學校尚未招收專長學生,乃就籃球、排球、田徑等專長招募同學組成代表隊參賽,由門外漢踏入手球領域,為提升訓練知能,潛心鑽研參考書籍、積極參加教練及裁判研習、反覆觀看訓練與比賽影帶;1990年帶領亞運女子手球隊前往韓國移地訓練,獲得1988年漢城奧運韓國男子隊總教練柳在忠全力協助,使球隊水準大幅提升,教練也從中吸取更多訓練新知。學校手球代表隊逐漸茁壯成為國內賽會常勝軍,參加臺灣區運動會,曾締造三連霸紀錄。1976年首度擔任國家男子代表隊教練,此後約30年期間,先後率隊參加亞洲手球錦標賽與其他國際性手球賽事。1982年檢定通過為國際裁判,其後受聘前往多國擔任亞洲地區手球賽會與世界大學手球錦標賽大會執法工作。1991年起受聘擔任我國培育運動人相關委員會(小組)委員,參加各項國際綜合性賽會訓練輔導工作;自1994年廣島亞運會起,歷屆奧運、亞運、東亞運等賽會多次隨團出國考察。1998年起先後前往多國考察國家運動訓練中心與運動科學推展概況。除參與國際運動競賽相關事務外,擔任國內手球訓練與裁判工作逾30年之久,其後受聘擔任中華奧會、中華體總及全國單項協會所屬委員會委員職務;參與多項全國性綜合性賽會之籌備工作,長年擔任全國性賽會運動競賽審查委員或審判委員、運動禁藥管制委員會委員等職務。此外參與大學系所相關評鑑、訪視及特定體育團體訪評等工作。從事體育教學與競技運動逾50年,1992年榮獲教育部績優行政人員、2016年獎勵學校體育終身成就獎及2021年臺中市推展運動有功人員終身成就獎等殊榮。