中山古称“香山”，据北宋《太平寰宇记》记载：“地多神仙花卉，故曰香山。在距今5000多年前的新石器时代，中山只是珠江口伶仃洋上的一个岛屿，此时就有古越族人在此渔猎、生活。近十几年，在中山发现了多处新石器时代的古人生活遗址，包括有南朗镇的龙穴彩陶遗址、石岐区的白水井遗址、大涌镇的全禄遗址等，出土了一批彩陶、磨制石器、夹砂陶器等文物。其中，南朗镇的龙穴遗址还是一个由新石器时代直至春秋战国时期的沙丘遗址，在后期的遗存中还发现有青铜器和铸铜石范等物。

前214年，秦始皇平定岭南地区的百越之地后，中山属南海郡番禺县辖地。秦朝末年，赵佗创立南越国，中山属南越国领地。前111年，汉武帝灭亡南越国，中山重回汉朝中央管辖。秦汉时期，中山除了原先生活在此地的南越人外，开始有少量的中原人移居至此。三国时，中山属于吴国领地。西晋末年，晋朝皇族之间爆发了史称“八王之乱”的宫廷权力争斗，为躲避战乱，大批中原人口移居岭南，其中一部分来到香山岛上。东晋咸和六年（331年），南海郡分出东官郡，中山改为东官郡辖地。南北朝时期的刘宋永初元年（420年），东官郡改为东莞郡，中山属东莞郡辖地。隋朝开皇十年（590年），中山属宝安县辖地。

唐朝至德二年（757年），宝安县更名东莞县，中山属东莞县辖地。因为中山盛产海盐，官府开始在今珠海市山场村设立了名为香山镇的军事营镇。北宋元丰五年（1082年），设立香山寨，仍属东莞县。南宋绍兴二十二年（1152年）由于香山寨的发展，升级为香山县，中山始有县级行政区划，此时的香山县隶属于广州府。南宋末年，宋端宗在元军的追杀下，曾逃往香山躲避，南宋灭亡后，大批南宋皇族和官员的后裔流落定居于香山。明朝，香山北部地区开始淤积成陆，此时才与大陆相连。清朝，珠江三角洲一带开始逐步修筑防洪防潮的河道堤围，香山县围垦的田地在不断增加，农业产量也在提高。在清朝嘉庆年间，由于农业的发展，香山由原来的下等县改成与南海、番禺、东莞等县同列的大县。民国14年4月15日，香山县改名中山县。

1949年10月30日，中山县解放。后来逐渐分出珠海县、斗门县（大部分）和划出部分地方归番禺县、顺德县、新会县。1983年12月22日，撤销中山县，设立中山市（县级），以中山县的行政区域为中山市的行政区域。1988年1月7日，中山市升为地级市，由广东省人民政府管辖。

自1979年改革开放以来，中山市已从一个以农业经济为主体的县转变为以工业为主体，以高新技术产业为龙头，三大产业齐发展，外向型经济、商品经济比较发达，精神文明不断进步，各项事业欣欣向荣的现代化城市。