Hoewel niet-Westerse culturen in het werk van H.C. ten Berge een nadrukkelijke rol spelen, is hij ook sterk beïnvloed door de Nederlandse literatuurgeschiedenis. De naam Tramontane, een personage in zijn werk in wie veel van de dichter zelf terugkomt, is naast een toespeling op de naam 'Ten Berge' ook een verwijzing naar Transmontanus, een bijnaam van de archipoëet. Deze archipoëet was de beroemdste van de vaganten, de rondtrekkende dichters uit de twaalfde en dertiende eeuw, en een van de auteurs van de Carmina Burana. Verwijzingen naar hem en naar de vaganten in het algemeen zijn veel in het werk van Ten Berge te vinden. Hoofdpersonen in zijn gedichten en verhalen zijn ook meestal (rond)reizende figuren.

Uit de tijd van de vaganten stamt ook de poëzie van Hadewijch die een grote indruk op Ten Berge maakte. Hij schreef over haar in een 'autobiografisch essay':

Hadewijch beschouwde en beschouw ik als een tijdgenote. Haar invloed op de poëzie die ik sinds Poolsneeuw heb geschreven is van beslissende betekenis geweest.
(Berge, 1987, p. 29)

In de dichtbundel Nieuwe gedichten schreef hij over haar:

jij overheilig wijf
je bent in alles
wat ik schrijf aanwezig
(Berge, 1993, p. 231)

Ook de modernere Nederlandse dichtkunst heeft Ten Berge niet onberoerd gelaten. Hoewel hij stelde dat zijn eigen generatie weinig meer gemeen heeft dan dat de leden ervan allemaal in de jaren zestig zijn begonnen met publiceren, moest hij wel toegeven dat zij allemaal beïnvloed zijn door de bloemlezing Nieuwe griffels, schone leien, met andere woorden: door het werk van de Vijftigers (Berge, 1988).

De invloed van de Vijftigers bestaat met name uit het pad dat door hen gebaand werd. Ten Berge's maakt veel gebruik van associatie in zijn poëzie, maar hij streeft een gediscliplineerdere vorm van associatie na dan de vrije associatie van de Vijftigers. Ook gebruikt hij strakkere vormen voor zijn poëzie en hecht hij veel belang aan ritme. Waar de Vijftigers radicaal de grenzen verlegden maakten Ten Berge en anderen van zijn generatie gebruik van de nieuw ontstane ruimte. Ten Berge ziet zijn plaats in de poëzie als een plaats tussen experiment en traditie.

Ten Berge keek verder dan de landsgrenzen. In het tijdschrift Raster belichtte hij regelmatig eigentijdse dichters uit het buitenland. Bovendien beslaat een verzameling vertellingen van niet-Westerse volken een aanzienlijk deel van zijn oeuvre. Andere invloeden van over de grens bereikten Ten Berge via zijn vertalingen. Met name de vertalingen van de Cantos van Ezra Pound klinken door in zijn poëzie. In Texaanse elegieën klinkt de cadans van de Cantos en in Het vertrapte mysterie is een sectie gewijd aan Hilda Doolittle, eens de geliefde van Ezra Pound. Ten Berge vertaalde verder poëzie van Gunnar Ekelöf, Christopher Middleton, Mark Strand, Xavier Villaurutia, Murasaki Shikibu en Azteekse poëzie.