カーディフの歴史は西暦75年に遡り、ローマ人がこの地に最初の砦を築いたことに始まる。それはわずかか8エーカーの長方形の土地に堀と壁を巡らしたにすぎなかった。カーディフは英語で Cardiffと綴るが、現代ウェールズ語綴りではCaerdyddとなる。この綴りは16世紀からのもので、それ以前はCayrtifやCairdyfと綴った。tifはカーディフを流れるタフ川(Taff)、Caer-はウェールズの地名に数多く出てくる語で、ローマ軍の砦を意味する。したがってカーディフとは「タフ川のほとりにある砦」という意味になる。
ローマのブリテン島占領は、西暦43年にクラウディウス帝が派兵し、ローマの属州としてから、410年のローマ軍の撤退まで続くが、383年鋳造のローマ貨幣がカーディフより発見されていることからも分かるように、カーディフは約 400年間にわたり、ローマの支配下にあった。
ローマ軍が故国に引き上げた後、この地はウェールズ人王の治める王国となる。その間、しばしば海からヴァイキングによる侵略を受ける。 974年には現在の地域名、グラモーガンの名の起こりとなったウェールズ人王、モーガン・ムインファウル(Morgan Mwynfawr)が死亡している。
1091年、イングランドを征服したノルマン人は南ウェールズに進出、カーディフはロバート・フィッハモン (Robert Fizhamon)の支配下に置かれる。ノルマン人の支配するカーディフは、その後ウェールズ部族王、センゲニッズの攻撃を受けることとなる。 エドワード1世のウェールズ征服後、息子エドワード2世は1326年、カーディフにあって、カエフィリー城、ニース城、マーガム・アビーの建設を指揮する。1473年には今もカーディフに残るセント・ジョン教会が建てられた。1536年、イングランド・ウェールズ併合令が出ると、カーディフは近郊の村落を集合し、グラモーガンシャーを形成した。
清教徒革命期のカーディフは王党派の支配する町であった。1645年チャールズ1世はカーディフ城に1週間滞在したが、それから1ケ月後、カーディフ城は議会軍の手に落ちる。3年後の1648年5月8日、カーディフの西、セント・ファーガンスで議会軍と王党派が戦い、議会軍が勝利を収める。この戦闘で近くを流れるイリー川は血に染まったと記録には残っている。この戦いの1週間後、クロムウエルはカーディフに入城する。
カーディフは産業革命期に飛躍的に発展した都市であり、それ以前は比較的小規模の町であった。1801年の第1回国勢調査ではカーディフの人口は 1875人とある。この調査に先立つこと2年前、カーディフ発展の最初の原動力となるグラモーガンシャー運河がキファルサファ、カーディフ間に完成する。1839年には造船所、カーディフ・ドックが着工の運びとなる。
カーディフ発展の最も重要な要因となったのはタフ渓谷鉄道が1841年マーサ、カーディフ間に開通したことであった。これにより、以前はニューポートやスウォンジーに流れていたバレー地域で採掘されていた石炭がカーディフへと集まるようになった。その後この鉄道はカーディフを中心に東西に延び、カーディフを南ウェールズの最重要都市へと変えていった。
1842年から1849年にかけて、イングランドおよびアイルランドからの労働移住者でカーディフの人口は急増し、住居、衛生等の悪条件はカーディフにコレラを発生させた。
1867年からカーディフ城の修復作業が始まり、カーディフ城はビクトリア式の城となる。1876年にはカーディフ・フットボール・クラブが設立され、また1888年にはアームズ・パークでアイルランドとの初のラグビー国際試合が開催された。その間1882年には旧図書館がカーディフにオープンしている。
大都市となったカーディフには、1891年、セントラル・マーケットがオープンし、1902年には市街電車が営業を始めた。
1905年、エドワード7世はカーディフに「シティ」の資格を与え、タウン・ホールはシティ・ホールとなった。翌年、シティ・ホールの西に裁判所が完成し、1911年の国勢調査では、カーディフの人口は 182,280人となる。1912年、国立ウェールズ博物館が起工されるが、第一次世界大戦のため1927年一部完成、全館が完成するのは1932年になる。1938年にはウェールズ庁舎がオープンする。
第二次大戦後1947年、カーディフ城とビュート公園がビュート家よりカーディフ市に寄贈される。エリザベス2世は1955年、カーディフをウェールズの首都とする勅許を与え、ここにカーディフはヨーロッパにおける最も新しい、また最も小さな首都となったのであった。