连州历史悠久，源远流长。西汉初年（公元前206年）立桂阳县，从西汉初年至今，连州城历来为县、郡、州、道、路、直隶州治所在地。1994年4月22日，经国务院批准撤县设市（县级市）。1996年6月5日，广东省政府批准连州为广东省第二批历史文化名城。
        连州具有悠久的建城历史、众多的文物古迹、丰富民间艺术和浓厚的人文氛围。市内发现有较高历史、艺术和科学价值的不可移动文物100多处，其中：国家级文物保护单位1处(慧光塔)、省级文物保护单位3处(巾峰山摩岸石刻“廉泉之源”、大云洞摩崖石刻、冯达飞故居)、县(市)级文物保护单位22处，境内有保存完好的古村落20多个。博物馆收藏文物1000多件，种类包括石器、陶瓷、铜器、木器、工艺美术等，出土年代纵跨新石器、春秋战国、秦汉、魏晋南北朝、唐宋、元明清等时代。几千年来中原文化、荆楚文化、客家文化和广府文化在连州融洽兼收，形成了独特的连州文化（又称湟川文化）。唐宋以来，官宦骚人接踵而至，对连州文化的发展影响深远。韩愈、刘禹锡、周敦颐、岳飞、张俊、康有为、邓小平等历史名人在连州工作生活或留墨宝胜迹。北宋时期，广东中举进士127名，其中连州占43名，一时誉称“连州科第甲通省”。抗日战争时期，民国广东省政府五迁连州，随迁连州的机关、大学、群体、实业78个，珠江三角洲大量民众到连州走避战祸，连州人口顿增12万，市面繁荣，被称誉为“小广州”。