Le village actuel est positionné sur le flanc sud, d’une colline, le Serre de Brienne. Le site a été occupé dès le Chalcolithique, aux environs de 2000 ans av. JC, des tessons de céramique l’attestent. Des traces de cabane sur les pentes sud de la colline prouvent une occupation humaine au VIIème siècle avant JC.
Il montre de nombreux vestiges du XIIème et XIIIème siècles : l’église, des fragments de mur d’enceinte, les tours d’angles et la tour du Château fort. Brignon, depuis, a été fortement marqué par certains faits de l’histoire : la guerre des Camisards, les guerres de religions.
A la fin du Vème siècle av. JC, une nouvelle agglomération positionnée au sommet de la colline, s’étend progressivement sur douze hectares dès le 1er siècle av. JC. Cette ville nommée BRIGINNO, chef-lieu de territoire, faisait partie de la confédération des Volques Arécomiques regroupés autour de Nîmes.
Les archéologues ont trouvé sur le site la plus ancienne peinture murale de France, ainsi qu’une habitation comprenant une chambre décorée d’enduits peints et d’un sol mosaïqué.