Mae hanes Talacharn yn ymestyn yn ôl dros naw canrif. Pan godwyd y gaer yn 1116, roedd yn rhan o gadwyn o gestyll arfordirol Normanaidd a ymestynnai o Gas-gwent yn y dwyrain i Benfro yn y gorllewin. Ond nid oedd fyth yn ddiogel rhag ymosodiad o du’r penaethiaid Cymreig.

Cipiwyd y gaer gloddwaith wreiddiol gan yr Arglwydd Rhys, a gyhoeddodd ei hun yn 'wir dywysog de Cymru', yn 1189 ac eto gan y Tywysog Llywelyn ap Iorwerth ym 1215. Hyd yn oed ar ôl i'r teulu de Brian adeiladu'r castell cerrig garw welwn ni heddiw yng nghanol y 13eg ganrif cafodd y gaer ei difrodi gan y Tywysog Llywelyn ap Gruffudd.

Dros dro y bu ei achubiaeth adeg y Tuduriaid. Ar ôl gwarchae wythnos o hyd gan luoedd Seneddol yn ystod y Rhyfel Cartref, cipiwyd castell Talacharn am y tro olaf a’i ddatgymalu’n rhannol – ac ni fu neb yn byw yma ers hynny.