SC Freiburg, volledige naam Sport-Club Freiburg eV, werd op 30 mei 1904 opgericht als FC Schwalbe Freiburg. Aanvankelijk een gymnastiekvereniging, maar pas in 1912 werd de voetbalafdeling volledig gescheiden. Die van de club officiële website biedt een uitgebreide geschiedenis van zijn vorming.
In hun beginjaren schommelde het team tussen divisies, maar vond relatief succes door eind jaren twintig en begin jaren dertig de Bezirkliga Baden te bereiken. De Tweede Wereldoorlog bracht echter uitdagingen met zich mee voor elke Duitse voetbalclub, waarbij de reguliere wedstrijden werden opgeschort en veel spelers werden opgeroepen voor militaire dienst.
In het naoorlogse tijdperk had SCF moeite om een duurzaam momentum te verwerven vanwege financiële problemen en inconsistente prestaties. Maar de zaken begonnen eindelijk positief te veranderen toen ze in 1981 voor het eerst promotie maakten naar de Bundesliga onder leiding van manager Jupp Zlatko.