Les piles côté Est sont construites sur la terre ferme, celles du côté opposé sur le rocher même. Les autres sont bâties sur pilotis. Les piles sont protégées par des becs triangulaires qui brisent la force des eaux. Chaque pile forme une culée : on peut donc bâtir les arches l'une après l'autre. Celles-ci, au nombre de vingt, sont composées de quatre arceaux juxtaposés.

Une structure défensive fut ajoutée en 1358. A l'Ouest, sur la 2e pile, un bâtiment appelé "la tour du roy" au 15e siècle. A côté, une autre tour servait de logement aux gardes du pont. Sur le coude du pont, une tour abritait la chapelle St-Nicolas, en-dessous une prison. A l'Est, la tour "devers l'Empire" était protégée par un pont-levis.

Au 16e siècle, l'arche orientale est détruite et remplacée par trois petites arches.

Au 18e siècle, après la destruction des tours, on élève des portes décoratives. Ouvert à la libre circulation au 19e, le pont est réaménagé. En 1861, il est élargi de deux mètres pour permettre le croisement des chariots, on double les piles, les becs sont refaits.

En 1856, une arche marinière est mise en place mais est détruite en août 1944.

Après la 2e guerre mondiale, le Rhône perd son rang de "fleuve-dieu"que lui donne Frédéric Mistral et l'accroissement de la circulation redonne de l'importance à cette antique voie de communication.