遵义，商周时代诸侯小国鳖国，秦汉时代称鄨县，唐宋元明时代称播州。居住在大娄山东麓鄨水流域的上古鳖族，是巴人的重要支系之一，也是蜀人的重要起源之一。鳖令开创古蜀国开明王朝13代，并于开明9世时缔造蜀文化中心——成都城。唐代，播州是巴蜀地区抵御高原部落国的边境重镇。宋代，播州杨家将是西南地区抗击蒙古入侵的中坚力量。元代，播州土司控制疆域北濒长江，南临红水河，横跨云贵高原。明末战乱，四川惨遭屠戮，惟遵义府幸存。清雍正年间，遵义划入贵州，是贵州省重要的粮食产地和财政来源之一。1935年1月召开的遵义会议，是中国工农红军发展壮大的重要转折点。

远古时期，遵义一带即有人类栖息繁衍。在桐梓县岩灰洞旧石器时代人类文化遗址发现的人类牙齿化石，经科学测定，为距今20.6～24万年。桐梓县马鞍山新石器时代人类遗址中，也发掘出大量石器骨器，还有丰富的用火遗迹，年代距今为1.8万年。在赤水河流域的赤水市和习水县境内，也先后发现许多石斧、石锛、石网坠等古人类工具。公元前8至5世纪前后的春秋时期，现在的遵义市所辖地域，先后或分别属于牂柯、巴、蜀、鳖、鳛等邦国。战国时期，今遵义一带属于“大夜郎国”范围。西汉元光五年（前130年），置犍为郡，郡治鳖县，即在今遵义市中心城区附近。元鼎六年（前111年），于夜郎地置牂柯郡，作为邦国存在了250多年的“夜郎国”之名从此消失。此后，作为郡县行政建制的的“夜郎郡”、“夜郎县”之名曾多次出现，与今遵义有关的，一是唐贞观十六年（642年）所置的夜郎县，在今桐梓县境，为珍州的治所。二是唐天宝元年（742年）改珍州置的夜郎郡，治所即在这个夜郎县。至德二载（757年），大诗人李白被“长流夜郎”就是这里。夜郎县之名到五代时期废除，北宋时期复置，宣和二年（1120年）又废，计先后存废达480年。此后中国历史上再没有出现“夜郎”郡县之名。作为二级政区的州、郡名称，历代屡有变更。唐贞观十三年（639年），将隋代的郎州改名为播州，领辖今黔北的大片地域。播州之名，历经五代、宋、元到明朝末叶，存在了962年。所以人们常习惯用“播州”来代称古代的遵义。唐贞观十六年（642年），将播州所领的罗蒙县改名遵义县。这是“遵义”名称最早的出现。遵义之名沿用至今已有1364年。除县名外，历史上曾有过遵义砦、遵义军、遵义军民府、遵义府、遵义专区、遵义行政公署、遵义市等建制名称。播州从唐末到明末的725年间，为杨氏土司所世袭统治。明万历二十八年（1600年）“平播之役”后，取消土司制度，实行“改土归流”，于次年分播州为遵义、平越两个“军民府”，分别隶属四川、贵州两省。清康熙年间取消“军民”二字，直称遵义府。今遵义市大部分地域属于这两府，还有部分地域属于石阡府、思南府。清雍正五年（1727年），遵义府由四川省划归贵州省管辖。直到民国初年，废除“府”的建制。民国24年（1935年），贵州省设11个行政督察区，黔北十余县为第五行政督察区。　　1949年11月，遵义解放，“第五行政督察区”改为遵义专区，后称遵义地区，为省政府派出机构，并以原遵义县城区为基础新建遵义市。此后的数十年间，遵义地区领辖的县市曾有少许变动。1997年6月，经国务院批准，撤销遵义地区改建为遵义市（地级市，1997年11月挂牌），原遵义市改建为红花岗区，原遵义地区领辖的县、自治县即归新建的遵义市领辖；赤水市、仁怀市为县级市，由遵义市代管。2004年，经国务院批准，由红花岗区和遵义县北部划出部分地区，在原遵义经济技术开发区的基础上，新成立汇川区。

2009年5月4日，由遵义市红花岗区新蒲镇和遵义县新舟镇组成的新蒲新区正式挂牌成立。至此，全市共辖2市辖区、2市、8县和2民族自治县，即：红花岗区、汇川区、赤水市、仁怀市、遵义县、桐梓县、绥阳县、正安县、凤冈县、湄潭县、余庆县、习水县、道真仡佬族苗族自治县和务川仡佬族苗族自治县。其中新蒲新区并不是一个市辖区，是为了发展和带动城经济，分散主城压力而设立的新城区，新蒲新区面积300平方千米，人口12万。邮政编码563000。新区管委会驻红花岗区新蒲镇，没有区政府，尚未形成县级行政区，但是是作为未来新市辖区的基础。