De club werd in 1945 opgericht nadat King's Park FC, de vorige club uit de stad, de Tweede Wereldoorlog niet overleefde. In de oorlog viel er één bom in de stad en die viel net op het voetbalplein van King's Park. De nieuwe club werd opgericht door plaatselijke zakenman Thomas Ferguson.
In de volgende jaren kreeg de club de bijnaam The Yo-Yo's. Stirling was te goed voor de tweede klasse maar te zwak voor de hoogste klasse en promoveerde en degradeerde bijna elk seizoen. Er was zelfs een spreekwoord in Schotland dat iets op en neer ging zoals Stirling Albion. Door de jongere fans is die nickname minder gebruikt en wordt de club nu als de Binos bestempeld.
In de jaren 60 en 70 ging het slechter met de club en eindigden ze meestal onderaan de rangschikking, midden jaren 70 werd de 3de klasse ingevoerd en daar speelde de club tot 1977. Na vier jaar in de First Division (2de klasse) werd de club vernederd toen de club 8 maanden lang niet kon scoren, er werden zelfs penalty's gemist en doelkansen voor een open goal, verrassend genoeg eindigde de club toch niet op de laatste maar op de voorlaatste plaats.
In 1981 stond de club op de rand van het faillissement, de club was verplicht het Annfield-stadion te verkopen. Tijdens deze periode vestigde de club wel een recordscore voor de 20e eeuw door met 20-0 van Selkirk te winnen in de beker. De club bleef het moeilijk hebben en in 1987 speelde Stirling de eerste wedstrijd op kunstgras tegen Ayr United, kunstgras was goedkoper dan echt gras te onderhouden, wat alweer een kost minder was.
In bekerwedstrijden konden clubs beslissen niet op kunstgras te spelen en maakten daar gretig gebruik van, alle bekerwedstrijden de volgende 5 jaar waren uitwedstrijden. Na 10 jaar onderaan de rangschikking veranderde de situatie in 1991 toen Albion een heel seizoen ongeslagen bleef op eigen terrein en promoveerde opnieuw naar de 2de klasse.
De jaren 90 tussen 2de en 3de klasse
bewerken
De volgende 3 jaar speelde de club in de First Division (2de klasse), maar niet meer op Annfield maar in het nieuwe stadion Forthbank. Na herstructurering van de Schotse competitie en de oprichting van de Third Division (4de klasse) degradeerde de club opnieuw. Kevin Drinkell werd coach en begon slecht aan zijn seizoen, in februari stond de club 3de laatste. Drinkell dacht dat zijn dagen geteld waren en wierf 2 nieuwe spelers aan (Paul Deas en Gary Paterson), wat een succes bleek, Stirling was de volgende 10 wedstrijden ongeslagen. Op de laatste speeldag maakte de club nog kans op promotie maar miste die net. Het volgende seizoen was de club oppermachtig en tegen kerstmis domineerde Stirling en leek de competitie gespeeld, andere teams kregen regelmatig een veeg uit de pan van Stirling met 6 of 7 goals.
Het volgende seizoen in de First Division eindigde Stirling in de middenmoot. 1997/98 begon dan weer met een goed bekerseizoen maar eindigde in een degradatie nadat enkele buitenlandse spelers het verlies van enkele sleutelspelers niet konden goedmaken. Net voor het einde van het seizoen werd Drinkell ontslagen.
In de volgende twee seizoenen in de Second Division werd veel geld verspild.
In 2001 verloor de club 17 wedstrijden op rij en eindigde laatste. In 2002 eindigde ze voorlaatste met een verschil van één gemiste penalty op de laatste.
Allan Moore werd trainer in seizoen 2002/03 en de resultaten werden beter, het volgende seizoen promoveerde de club zelfs terug en werd knap 4de in de Second Division. In 2005/06 maakte de club kans op promotie, er waren wel enkele veranderingen. De voorlaatste van de competitie degradeerde niet meer rechtstreeks maar speelde een play-off met de nummers 2, 3 en 4 van de reeks die lager lag. Gretna FC legde beslag op de titel maar voor Stirling werd het nog spannend. Maar de hoop om de play-off te bereiken werd in april door Partick Thistle de kop in gedrukt na een 1-2 nederlaag.
In 2006/07 werd de club vice-kampioen en plaatse zich weer voor de eindronde. In de eerste ronde werd Raith Rovers verslagen en in de finale versloeg de club tweedeklasser Airdrie United dat nu degradeerde. In 2007/08 eindigde de club tiende en degradeerde naar de Second Division. In 2009/10 werd Stirling kampioen in de Second Division en promoveerde terug naar de First Division. Het verblijf in de First Division was echter van korte duur, want in het seizoen 2010/11 eindigde Stirling op de laatste plaats. In 2011 promoveerde de club opnieuw naar de Second Division maar het verblijf duurde slechts één seizoen. In de jaren erna speelde Stirling Albion afwisselend in de League One en League Two.