「龜山」在楊梅市街區南郊的老坑溪邊，因阜形似龜，而稱之。三十多年前鎮長劉金標先生和教育家張芳杰先生等地方人士，共同在此建立楊梅中學，曾將龜山改為「貴山」，但民間仍習慣稱其舊名。

龜山雖然只有二一八公尺，但因周圍地勢低，所以是觀察測量的高地。因此；聯勤測量處在山的最高點，設有三等三角點水泥柱標誌，同時為「一等天文點」。登臨此山，楊梅壢谷的市街，及四周環繞的山區，盡入眼簾。在山頂上，可以東望埔心市街、北望梅岡的楊梅高中及義士村、西望長岡嶺、南望秀才窩及老坑山區。龜山在清宣宗道光年間，設罝武館，為轂綰南北官道之要衝，因而成為武營汛地。

在日治時代在龜山下即設有公學校，就是現在的楊梅國小。光復後又設立楊梅中學，現在改為楊梅國中，不但校園花木扶疏、弦歌不輟，而且桃李滿天下，校譽遠揚海內外。

龜山屬於公園預定地，自民國 88年3月16日開始闢建，於88年8月完成。依龜山公園預定地的土地形勢，在規劃上可依山而行，在山坡上採用自然形態的人為建設，種植與地方有關的楊梅樹、楊樹、梅樹等花木；路旁置石桌、石椅，供行人休息。