大山國小創立於民國二十九年四月一日，
前身為「外埔公學校大山分教場」。
民國三十四年四月一日，因學生人數增加，獨立為「大山公學校」。
民國三十九年十月因苗栗設縣，校名又改為「苗栗縣後龍鄉大山國民學校」。
民國五十五年設「大山國民學校海寶分班」，三年後改為「海寶分校」。
民國五十七年八月一日，政府實施九年國民義務教育，
再改名為「後龍鎮大山國民小學」。並著手清理校產、操場填土、
增設體育器材。十年間校舍大量興建，學校規模日漸完全。

學校規模不大，但圖書藏書豐富。學校大力推展閱讀，師生每天早上晨讀時間都沉浸在書香世界。