青云谱区历史悠久。宋朝学者乐史在其编著的《太平寰宇记》中早有"青云浦在（南昌）城南十五里"的记载。明末清初八大山人朱耷（画家）在此隐居，改青云浦为青云圃，清嘉庆二十年（1815），礼部尚书戴均元又将"圃"改为"谱"，即今名。史载其"为南昌灌城乡"，纪汉开国名将灌婴筑城事，可知它原是南昌的发祥地。溯其渊源，此地先后隶属豫章郡（汉）、宜善县（新莽）、洪州（唐至北宋）、隆兴府（南宋、元初）、龙兴路（元）、南昌府（明、清）。民国时期，先后直隶豫章道，省辖；后隶属江西省第一行政区（其中1939-1941年隶属第11行政区）。中华人民共和国成立后或一九四九年后，1949年9月以前，曾划为南昌市第六区的一部分，同年10月，一度划到南昌县；1950年下半年，又划为南昌市第六区，到1958年10月，由三家店镇、青云谱乡、城南乡三者合并成立青云谱区。

约在5000年前，此地抚河东岸的岗地丘陵（窑头村）一带，早有新石器时期的原始人居住，最初的居民为百越族、纹身。出土的石刀、石斧、石箭头等可知先民靠渔猎、农耕为生。据《尚书·禹贡》记载：在夏、商、周三代，区境已被列入"扬州地域"，春秋战国时，此地处吴之东、楚之西，故称"吴头楚尾"之地。周元王三年（前473）越灭吴，属越地；楚威王七年（前333），楚灭越，属楚地。秦始皇统一中国，区境属九江郡，但其时尚无城市之设。汉高祖六年（前201），南昌建城后，区境叫灌城乡。晋朝建兴元年（313）道士许逊偕弟子黄仁览入境，于梅仙祠旧址创建道院名"太极观"。隋开皇九年（589），隋文帝杨坚赐号南昌全真道士万振为"天师"，改"太极观"为"太乙观"。到明末清初画家八大山人在此隐居，现辟为八大山人纪念馆。历代文人墨客多慕名来此。称赞："南昌名胜之区，首推青云谱。昔人莫不喜憩斯地，以览风光，而拓胸臆"。有内十景外十景（或内外各十二景）之谓。