Van de jaren 50 tot 1970 speelde de club in de lagere klassen van de toenmalige Sovjet-Unie, daarna speelde de club op regionaal niveau tot 1974. In 1975 nam de club terug deel aan het nationaal kampioenschap en startte in de derde klasse.
De club probeerde tevergeefs in de tweede klasse te komen, maar eindigde vaak op de tweede plaats en had zware concurrentie van clubs als Spartak Ordzjonikidze (nu Alania Vladikavkaz), Rotor Volgograd en Dinamo Stavropol. In 1985 werd de club kampioen in de Zuid-zone voor favorieten Sokol Saratov en Terek Grozny. Grozny stond bekend om zijn goede thuisreputatie en werd door Rostselmash met 0-5 verslagen. De titel betekende echter niet meteen de promotie naar de tweede klasse, want er werd een eindronde gespeeld met clubs als Tavrija Simferopol, Zvezda Dzjizak en Sohibkor Halkabad, niet de minste tegenstanders. Rostselmash verbaasde echter vriend en vijand door vijf van de zes wedstrijden te winnen, waarna promotie een feit was.
De club plukte enkele spelers weg bij stadgenoot SKA Rostov, dat al in de hoogste klasse had gespeeld. De club werd verdienstelijk zevende. Het beste seizoen was 1991, toen de vierde plaats werd behaald. Het was het laatste seizoen van de Sovjet-Unie en vanaf 1992 kwam er een eigen competitie in Rusland.
FK Rostov - Bayern München (UEFA Champions League)
Door de goede notering in 1991 kreeg Rostselmash een startplaats in de nieuwe competitie. De club had de eer om de allereerste Russische competitiewedstrijd te spelen, tegen Sjinnik Jaroslavl, en na 27 minuten had de club met speler Aleksandr Tikhonov ook nog eens de eer het allereerste doelpunt van de competitie gescoord te hebben. Er waren twee poules in de competitie en de top vier plaatste zich voor de play-offs. Rostselmash werd knap vierde, maar in de play-offs moest de club in het stof bijten en werd achtste met slechts één overwinning.
Het volgende seizoen was rampzalig. Enkele goede spelers verlieten de club tijdens het seizoen en deze werden niet waardig vervangen. Rostov degradeerde aan het eind van het seizoen naar de Russische eerste divisie. Na één seizoen kon de club echter terugkeren naar het hoogste niveau. In 1998 werd de club zesde, het beste seizoen tot dan toe. Er werd voor het eerst Europees voetbal gespeeld in de UEFA Intertoto Cup.
Begin jaren 2000 raakte de club in financiële problemen, maar deze werden opgelost. De clubnaam werd in 2003 wel veranderd in FK Rostov. De club haalde de finale van de beker, maar verloor daarin van Spartak Moskou. In 2007 werd Rostov laatste en degradeerde het naar de tweede klasse. Na één jaar keerde de club weer terug naar de eerste klasse.
In 2016 verraste de club door tot de laatste speeldag mee te strijden om de titel. Uiteindelijk eindigde de club op de tweede plaats, op twee punten achterstand van CSKA Moskou. Met deze klassering kwalificeerde FK Rostov zich voor het eerst voor de voorrondes van de UEFA Champions League. In de derde voorronde schakelde de ploeg Anderlecht uit, waarna ze in de play-offs te sterk was voor Ajax en zich voor de eerste maal in de clubhistorie plaatste voor de Champions League.
