Il y eut quelques départs en 1955/56' mais aussi les rentrées de Jean-Jacques Roger, Marot, Sagne, Huc. Par ailleurs, les jeunes Daurelle et surtout Jacques Séguret s'affirmaient. On se qualifia encore pour les seizièmes: défaite devant l'U.S.A.P. 17 à 0, mais on rétrograde à la 32e place.
1956/57' c'est la saison du Gallois Llewelyn, du Catalan Figuères, de Joubert, Estrade, Labadie, mais aussi la montée d'Urbain Milheau, de Robert Valat, d'André Basauri qui est sacré international junior. Toutefois les événements d'Afrique du Nord touchent durement les forces vives du club, puisque Robert Basauri, Joly, Duffourburg se trouvent là-bas. Le S.C.A. est dernier de sa poule, et descend en Seconde Division, avec la 52e place.
1957/58 le Colonel Gouin se retire, et c'est Bernard Gausserand qui prend la direction. On se renforce avec Maurice Bedouch devenu un maître de l'arbitrage, Roland Durac, Mathias Lopez, le pilier Moratti. Il y a aussi le Britannique Young, et des jeunes: Naval, Villemur, Bounhiol. On élimine Bourgoin en seizième de finale, Limoges en huitième, mais on se casse le nez sur Le Boucau en quart de finale, sur le terrain d'Agen. On est 54e L'année après, il y a peu de changements, malgré les rentrées de Planella et Bonneville, la poussée de Bernard Bernou, de Martiel, Jalby, Moureux, Jean Gineste, Jean Crubillé. Par 8 à 6, le L.O.U. I'emporte en seizième, et le S.C.A. est classé 71e.
1959/60, c'est la venue de Burgard, Guy Combe, Saramon, du demi de mêlée Laffargue qui venait de faire les beaux jours de Dax et de Castres. Cette fois, Albi trébuche devant Orthez en seizième, et c'est la 81e place. Il s'agit de réagir. Le Président Gausserand, aidé du Colonel Gouin qui est toujours resté au club, sonne le ralliement. Pierre Maurel revient, avec Jean Féral, et quelques autres. Pierre Maurel n'y va pas par quatre chemins. Grâce à ses relations personnelles, il fait venir Paul Blanc, du Stade Toulousain, qui fut le capitaine-entraîneur, les Bigourdans Gérard Dupinay et Claude Latapie, le Mazamétain Robert Arnaud, les Carmausins Paterno et Maset, le Graulhétois Roger Bonnefoi, le Toulousain Claude Dilhan. Avec les frères Basauri (Robert ayant repris du service le 23 avril 1961 pour jouer contre Saint Junien), Choury, Bounhiol, Villemur, Cantié, Alain Blanc, Chateignier, Joly, Saramon, Milheau, Jean Garcia, le junior devenu équipier premier de Bourg, Guy Combe, Joseph Naval, Thadée Laskawiec, cela se traduisit par des victoires sur Bagnéres, Esperaza, Lannemezan, Céret, Montréjean, Lavelanet, sur le S.A. Lyon à Vichy en seizième, sur le C.A. S.G. à Gueret en huitième, sur Langon à Auch en quart, de sorte que le S.C.A. remontait en Nationale. Nous revoyons encore ce terrain d'Auch, gavé d'eau, I'essai de Saramon amené par Paul Blanc, la joie de tous dans les vestiaires, et la longue file qui jalonnait le chemin du retour, hélas marquée par le tragique accident du docteur Bonpunt. ALBI se classait 53e, et était battu en demi-finale par Saint-Junien commandé par Jean Beloqui, sur le terrain de Marmande.
1961/62 , Ce sont les rentrées de Gérard Dilhan, frère du pilier, du Catalan Guy Pascot, de Bernard Dupinay, du Toulousain Georges Visa, de l'ailier Darrieulat, de l'international junior Jean Moreno, du pilier Basque Jean Touron, du Carmausin Michel Rivals, du solide Biterrois Pierre Mercier, de la révélation Edouard Dufourg qui devint un solide élément de l'Aviron Bayonnais, de Pierrot Lescure bien trop connu pour qu'il soit présenté, tout comme l'international Bernard Mommejat. Avec les frères Basauri, Choury, Cantié, Jean Pauzié, Latapie, Paul Blanc, Bernou, Arnaud, Milheau, Combe, Naval et Joly, il y avait vraiment un matériel extraordinaire. Mais le club termina qu'à la 45e place. L'ascension se confirmait, mais elle aurait dû être plus nette, sans une dualité Paul Blanc - Momméjat qui mit le sympathique Toulousain dans l'obligation de « lever le pied ».
