Si Guillhem (A) seigneur de Cervéra et Bérenger (5) seigneur de Banyuls avaient cohabité pacifiquement. Il n'en va pas de même pour leurs descendants et successeurs respectifs. A la mort de Bérenger (5) en 1395, son fils Joan (6) lui succède à la fonction de seigneur de Banyuls. Dans la foulée, il déclare la guerre à François (B) qui a succédé à son père à la fonction de seigneur de Cervéra. En 1407, une paix définitive est signée entre les 2 seigneurs.
Joan (6) et François (B) sont tous les 2 des familiers de la cour de Pédro Luna, le pape Benoît XIII qualifié d'antipape. Devant l'élection du pape Boniface IX, Benoît XIII refuse de quitter sa charge papale. Assiégé pendant 5 ans dans son palais d'Avignon, par les armées du roi Charles VI, aidé par François de Pau (B) Benoît XIII s'enfuit et se réfugie chez le comte de Provence. Afin de faire reconnaître sa qualité de pape, Benoît XIII envoie de nombreux émissaires plaider sa cause auprès des seigneurs les plus influents. En 1404, François (B) commande la troupe qui escorte et protège l'ambassade que Benoît envoit auprès de son homologue et rival Boniface IX installé à Rome. Il est emprisonné quelques mois au Château Saint-Ange, et n'est libéré que contre une forte rançon payée par Benoît XIII. En récompense, Benoît XIII le gratifie d'une somme de 1 500 florins. Puis, en 1407 Joan de Pau (6) est chargé de plaider la cause de Benoît XIII auprès du seigneur de Lucques.
Ainsi à la charnière des XIVème et XVème siècles, attachés à la cour de Benoît XIII, Joan (6) et François (B) ne résident plus dans leur seigneurie respective. Si François (B) a confié sa seigneurie à sa mère Françoise Amoros, fille puis soeur des seigneurs d'Argelès, Joan (6) préfère nommer moyennant le paiement d'une rente annuelle élevée, Bernard Coll un de ses familiers, à la fonction de "batlle" (bailli = représentant de l'autorité seigneuriale).
Entre 1422 et 1425, à la mort de Joan (6), son fils aîné Joan (7) lui succède à la fonction de seigneur de Banyuls. Si son père s'était tourné vers la lointaine cour papale d'Avignon, Joan (7) préfère recentrer ses actions sur la proche cour du roi d'Aragon, dont dépend son fief. Ainsi, Alphonse V le nomme viguier du Roussillon et du Vallespir. Puis, en 1425, il le charge de recueillir sur le territoire de sa viguerie, l'engagement des chevaliers, lors des préparatifs de l'expédition contre le royaume de Naples. Cependant, l'expédition tourne au désavantage d'Alphonse qui est fait prisonnier par des Gênois en 1435. En sa qualité de lieutenante générale du royaume (= chargée de la gestion du royaume en l'absence du roi), Marie de Navarre convoque les "cortes generales" (assemblée juridique), afin de définir la ligne à suivre pour délivrer le roi. Joan (7) est appelé à y siéger et donner son avis.
Selon certains chroniqueurs la participation de Joan (7) aux "cortes generales" aurait motivé l'entourage de la reine Marie de Navarre à faire accuser en 1440, Joan (7) et son frère cadet Hugues de Pau chevalier de l'ordre de Saint-Jean de Jérusalem, du meurtre du prêtre Borrell attaché à la maison de Marie de Navarre. Afin de payer sa défense, Joan (7) vend des mas qui lui appartiennent en propre dans sa seigneurie de Banyuls-Cervéra. Avec son frère ils sont condamnés en 1440 à payer une amende conséquente dont Joan (7) s'acquitte en vendant des mas qui lui appartiennent en propre dans sa seigneurie de Banyuls-Cervéra. Toutes ces ventes cumulées représentent l'équivalent de 4 kg d'or (valeur 1450). Après 2 ans de protestations, la condamnation de Joan (7) et de son frère Hugues est effacée par le roi Alphonse V d'Aragon. L'amende payée lui est restituée.
Entre 1442 et 1448, François de Pau (B) seigneur de Cervère décède sans héritier. Il lègue sa seigneurie à Joan (7). Après plus de 70 ans de séparation administrative, la seigneurie de Banyuls-Cervéra retrouve son unité, dans les mains de Joan (7) le descendant en ligne directe de Guillhem (1) le fondateur.
Joan (7) meurt après 1448, son fils Joan (8) lui succède à la fonction de seigneur de Banyuls-Cervéra. Il décède vers 1458 soit une dizaine d'années après sa prise de fonction, en laissant sa femme Francine qui gère la seigneurie pour ses deux fils en bas-âge : Joan et François.
Une fois sa majorité atteinte Joan (9) accède à la fonction de seigneur de Banyuls-Cervéra, succédant à sa mère Francine de Pau qui a occupé la fonction de régente à partir de 1458. Même si les sources consultées restent encore peu disertes sur le sujet, il apparaît que Joan (9) se met totalement au service de la couronne d'Aragon contre la couronne de France. En 1463, le roi Louis XI de France envahit et annexe le Roussillon, la Cerdagne et le Conflent. Le comte d'Empurias vassal du roi Jean II d'Aragon est destitué de son fief et de sa charge par le roi de France. La partie annexée du comté d'Empurias (dont la seigneurie de Banyuls) est confié au comte de Candale, un des vassaux du puissant comte de Foix.
Cette annexion ne semble pas satisfaire Joan (9) puisque vers 1477 il est déclaré rebelle à la couronne de France et ses biens sont mis sous séquestres, avant d'être confiés au comte de Candale. Le nouveau comte n'entend pas installer un de ses vasseaux à la tête de la minuscule et peu prospère seigneurie de Banyuls-Cervéra, très éloignée de ses propres possessions foncières. Le comte de Candale afferme donc les terres seigneuriales aux paysans banyulencs les plus aisés, et se préoccupe peu voire pas de ses fonctions de haute et basse justice sur ses nouvelles terres.
Néanmoins, la fidèlité de Joan (9) à la couronne d'Aragon est récompensée. En 1495, le roi de France rétrocède au roi d'Aragon tous les territoires qu'il avait annexés en 1263. Le roi d'Aragon rétabli Joan (9) dans sa seigneurie de Banyuls-Cervéra, et dans son château des Abeilles. En dédommagement, il lui accorde des droits seigneuriaux sur les paroisses de Belpuig, Conat, Corsavy, La Bastide, Montbolo et Prats-de-Mollo.
En 1511, Joan (9) meurt sans enfant. Son frère cadet François (10) lui succède à la fonction de seigneur de Banyuls-Cervéra.
Cependant, François n'occupe la fonction que 3 années durant. Il décède en 1514, en laissant la régence de sa seigneurie à sa femme Eléanore de Rocafort fille puis soeur des seigneurs de Vinça, au nom du seul enfant du couple : une fille encore mineure prénommée Béatrix.
