天水因“天河注水”的傳說而得名。夏、商時(shí)期屬雍州。周孝王十二年（公元前九世紀(jì)）贏非子在秦池（今張家川縣城南一帶）為王室養(yǎng)馬有功被封于秦，號(hào)贏秦。秦即后世的秦亭，是今天水市轄區(qū)見于史籍的最早地名。秦武公十年（前688年），秦滅邽戎、冀戎，置邽（今天水市城區(qū)）、冀（今甘谷縣東）二縣，這是中國(guó)歷史上設(shè)置最早的兩個(gè)縣級(jí)建置。秦昭王二十八年（279年），設(shè)隴西郡。

西漢武帝元鼎三年（前114年），從隴西、北地二郡析置天水郡。從此有“天水”的名稱。三國(guó)魏黃初元年（220年）一度設(shè)秦州，因秦邑而得名。晉泰始五年（269年）正式設(shè)秦州，今轄區(qū)大部分由秦州天水郡轄。隋唐時(shí)秦州地域和今轄區(qū)大體相當(dāng)。元代，秦州轄成紀(jì)、秦安、清水3縣。明代，秦州轄秦安、清水、禮縣3縣。清雍正七年（1729年），秦州升為直隸州，直隸甘肅省，轄秦安、清水、兩當(dāng)、徽縣、禮縣5縣。

民國(guó)二年（1913年）2月，改稱隴南道。撤秦州設(shè)天水縣。民國(guó)三年1月，寧遠(yuǎn)縣改稱武山縣。6月，隴南道改稱渭川道，轄14縣。民國(guó)十六年（1927年）7月，渭川道改稱渭川行政區(qū)。不久，撤銷行政區(qū)，實(shí)行純粹的省縣二級(jí)制。民國(guó)十八年（1929年），伏羌縣改名甘谷縣。民國(guó)二十三年（1934年），甘肅省政府設(shè)立天水行政督察區(qū)。次年，改稱甘肅省第四行政督察區(qū)，轄10縣。

1949年8月3日，天水縣解放。8月15日，天水分區(qū)行政督察區(qū)成立，轄天水、甘谷、武山、徽縣、兩當(dāng)、通渭、秦安、清水8縣。同年12月，天水分區(qū)改稱天水專區(qū)。1950年2月，析天水縣置天水市，以城區(qū)為天水市的行政區(qū)域。5月25日，平?jīng)鰧^(qū)析出莊浪縣劃歸天水專區(qū)；撤銷岷縣專區(qū)，所屬隴西、漳縣劃歸天水專區(qū)。天水專區(qū)轄天水市及天水、秦安、徽縣、兩當(dāng)、武山、漳縣、甘谷、清水、莊浪、隴西、通渭11縣，81個(gè)區(qū)公所，614個(gè)鄉(xiāng)。1952年，天水專區(qū)轄91個(gè)區(qū)公所，635個(gè)鄉(xiāng)。

1953年7月6日，將清水、秦安、莊浪、隴縣38鄉(xiāng)合并成立張家川回族自治區(qū)（1955年10月改稱縣），屬天水專區(qū)。同年底，天水專區(qū)轄1市12縣887個(gè)鄉(xiāng)。1956年1月，天水專區(qū)的隴西縣、通渭縣劃歸定西專區(qū)，武都專區(qū)的禮縣、西和、成縣劃歸天水專區(qū)，天水專區(qū)的莊浪縣劃歸平?jīng)鰧^(qū)。同年底，天水專區(qū)轄天水市及天水、秦安、禮縣、西和、成縣、徽縣、兩當(dāng)、武山、漳縣、甘谷、清水、張家川12縣，67個(gè)區(qū)，531個(gè)鄉(xiāng)，9個(gè)鎮(zhèn)，9個(gè)街道辦事處。

1958年4月4日，撤銷兩當(dāng)并入徽縣。4月8日，撤銷武都專區(qū)，所轄宕昌、文縣、武都、康縣、岷縣5縣劃歸天水專區(qū)。9月5日，撤銷西和縣、禮縣，合并成立西禮縣；撤銷徽縣、成縣，合并成立徽成縣。12月16日，天水專區(qū)的岷縣劃歸定西專區(qū)。12月20日，撤銷天水縣劃歸天水市；甘谷、漳縣、武山合并成立武山縣；撤銷張家川縣和清水縣，合并成立清水回族自治縣。同年實(shí)現(xiàn)人民公社化，實(shí)行政社合一體制。天水專區(qū)轄天水市及秦安、清水、武山、西禮、徽成、武都、文縣8縣，129個(gè)公社，4個(gè)街道辦事處。

1961年11月5日，恢復(fù)武都專區(qū)。原劃歸天水專區(qū)的武都、宕昌、康縣、成縣、文縣仍劃歸武都專區(qū)。12月15日，恢復(fù)天水、甘谷、漳縣、兩當(dāng)、西和、禮縣、清水縣和張家川回族自治縣。漳縣劃歸臨洮專區(qū)。至年底，天水專區(qū)轄天水市及天水、西和、禮縣、徽縣、兩當(dāng)、武山、甘谷、秦安、清水、張家川等10個(gè)縣，60個(gè)區(qū)，440個(gè)公社，4個(gè)街道辦事處。

1963年10月23日，撤銷臨洮專區(qū)，將其所屬漳縣劃歸天水專區(qū)。天水專區(qū)轄1市11縣，482個(gè)公社，3個(gè)鎮(zhèn)，4個(gè)街道辦事處。1969年10月1日，天水專區(qū)改稱天水地區(qū)。轄天水市、天水縣、甘谷縣、武山縣、清水縣、張川縣、秦安縣、徽縣、兩當(dāng)縣、禮縣、漳縣等1市11縣，223個(gè)公社，5個(gè)鎮(zhèn)，4個(gè)街道辦事處。1980年，天水地區(qū)轄1市11縣，232個(gè)公社，5個(gè)鎮(zhèn)，8個(gè)街道辦事處。1983年，政社分設(shè)，改社為鄉(xiāng)。

1985年7月8日，國(guó)務(wù)院批準(zhǔn)，撤銷天水地區(qū)，天水市升為地級(jí)市。撤銷天水縣、將其行政區(qū)域并入天水市。天水市設(shè)立秦城、北道兩區(qū)。以天水縣西南17鄉(xiāng)及原天水市（縣級(jí)）轄區(qū)設(shè)秦城區(qū)，以天水縣東南、西北其余22鄉(xiāng)和北道鎮(zhèn)設(shè)北道區(qū)。天水市人民政府駐秦城區(qū)。將原天水地區(qū)的徽縣、兩當(dāng)、西和、禮縣劃歸新成立的隴南地區(qū)；漳縣劃歸定西地區(qū)。天水市轄兩區(qū)五縣；即秦城、北道兩區(qū)，秦安、清水、張家川、甘谷、武山等5縣，138個(gè)鄉(xiāng)，11個(gè)鎮(zhèn)，11個(gè)街道辦事處。

2000年第五次人口普查，天水市常住總?cè)丝?219323人，其中，秦城區(qū)604070人、北道區(qū)542916人、清水縣279207人、秦安縣545273人、甘谷縣553377人、武山縣399911人、張家川回族自治縣294569人。2002年末，天水市轄秦城、北道2區(qū)，秦安、清水、甘谷、武山、張家川回族自治縣5縣，40個(gè)鎮(zhèn)、109個(gè)鄉(xiāng)、11個(gè)街道。2003年，全市共撤并鄉(xiāng)鎮(zhèn)36個(gè)、街道1個(gè)；調(diào)整后，天水市轄113個(gè)鄉(xiāng)鎮(zhèn)（46個(gè)鎮(zhèn)，67個(gè)鄉(xiāng)）、10個(gè)街道。

2004年9月30日，民政部批準(zhǔn)（民函[2004]244號(hào)）同意天水市秦城區(qū)更名為秦州區(qū)、北道區(qū)更名為麥積區(qū)；（甘肅省人民政府2004年11月2日批準(zhǔn) 甘政函[2004]99號(hào)）。2005年1月1日，兩區(qū)正式更名。

2010年第六次人口普查，天水市常住總?cè)丝?262548人，其中，秦州區(qū)643906人，麥積區(qū)553268人，清水縣266908人，秦安縣515423人，甘谷縣559712人，武山縣437268人，張家川縣286063人。

2015年，省民政廳（甘民復(fù)〔2015〕12號(hào)）批復(fù)同意：秦州區(qū)撤銷中梁鄉(xiāng)，設(shè)立中梁鎮(zhèn)；麥積區(qū)撤銷三岔鄉(xiāng)，設(shè)立三岔鎮(zhèn)；清水縣撤銷白沙鄉(xiāng)，設(shè)立白沙鎮(zhèn)；秦安縣撤銷五營(yíng)鄉(xiāng)、葉堡鄉(xiāng)、魏店鄉(xiāng)，設(shè)立五營(yíng)鎮(zhèn)、葉堡鎮(zhèn)、魏店鎮(zhèn)；甘谷縣撤銷金山鄉(xiāng)，設(shè)立金山鎮(zhèn)；武山縣撤銷山丹鄉(xiāng)，設(shè)立山丹鎮(zhèn)；張家川縣撤銷馬鹿鄉(xiāng)，設(shè)立馬鹿鎮(zhèn)。同年，省民政廳（甘民復(fù)〔2015〕113號(hào)）批復(fù)同意：秦州區(qū)撤銷大門鄉(xiāng)、楊家寺鄉(xiāng)、齊壽鄉(xiāng)，設(shè)立大門鎮(zhèn)、楊家寺鎮(zhèn)、齊壽鎮(zhèn)；麥積區(qū)撤銷利橋鄉(xiāng)、琥珀鄉(xiāng)，設(shè)立利橋鎮(zhèn)、琥珀鎮(zhèn)；清水縣撤銷王河鄉(xiāng)、郭川鄉(xiāng)、黃門鄉(xiāng)，設(shè)立王河鎮(zhèn)、郭川鎮(zhèn)、黃門鎮(zhèn)；秦安縣撤銷千戶鄉(xiāng)、興豐鄉(xiāng)、安伏鄉(xiāng)、王尹鄉(xiāng)，設(shè)立千戶鎮(zhèn)、興豐鎮(zhèn)、安伏鎮(zhèn)、王尹鎮(zhèn)；甘谷縣撤銷大石鄉(xiāng)、禮辛鄉(xiāng)、武家河鄉(xiāng)、大莊鄉(xiāng)，設(shè)立大石鎮(zhèn)、禮辛鎮(zhèn)、武家河鎮(zhèn)、大莊鎮(zhèn)；武山縣撤銷溫泉鄉(xiāng)、龍臺(tái)鄉(xiāng)、樺林鄉(xiāng)、榆盤鄉(xiāng)，設(shè)立溫泉鎮(zhèn)、龍臺(tái)鎮(zhèn)、樺林鎮(zhèn)、榆盤鎮(zhèn)；張家川縣撤銷馬關(guān)鄉(xiāng)、梁山鄉(xiāng)，設(shè)立馬關(guān)鎮(zhèn)、梁山鎮(zhèn)。