El Papa se traslada a la ciudad de Aviñón, la ciudad tenia 6.000 habitantes, hubo que alojar a toda la corte pontificia, cardenales y otros cargos eclesiásticos, además de numerosos comerciantes lo que hizo que la ciudad llegase a 30.000 habitantes.

Ante tanto poder y riquezas había en Avignon el Papa para autoprotegerse se manda construir o más bien restituir las antiguas murallas y fosos del siglo XII, se produce un objetivo de ladrones y saqueadores, muchos eran mercenarios ahora liberados en las treguas de las Guerras de los Cien años. Para evitarlo Inocencio VI tiene que acometer la construcción de nuevas fortificaciones que arropen a los nuevos y lujosos barrios, estas obras finalizan en 1376 ya bajo el Papa Gregorio XI. Se crean un conjunto de murallas con 35 torres defensivas que abarcan más de cuatro kilómetros de longitud, un foso de más de ocho metros de agua, se crean las siete puertas de acceso obligatorio a la ciudad, cercadas por puentes levadizos.