本校民前5年為大目降公學校山仔頂分校，民國6年獨立為山仔頂公學校，民國30年改為山上國民小學。本校為山上區唯一一所小學，屬偏遠學校，學區包含七個村里(明和、南洲、山上、新莊、玉峰、平陽及豐德里)。目前國小部8班，學生160人，幼稚園1班27人。
校地面積約1.17公頃，校舍有東棟、南一棟、南二棟教室(已補強)，北棟教室拆除重建(109~111年度)。

學期初，由校內圖書室提供每班一箱適合該年級閱讀的班級書箱，班級在每天早上8:00~8:30由導師陪學生一起閱讀，學生也可以利用下課時間借閱班級書箱的書本，老師們也會利用愛的書庫的書箱讓全班共讀、分享。