Fritz Schwartz war mit Martha Schwartz, geborene Minarzik verheiratet. Zusammen haben sie während des Krieges und der Nachkriegszeit 3 gemeinsame Kinder großgezogen.
Die Kinder und ihre Familien
- Egon Schwartz (†2024), war verheiratet mit Christel, Tochter Claudia
- Ortwin Schwartz verheiratet mit Ingrid, Sohn Michael, Tochter Daniele
- Annette Rilinger (geb. Schwartz) verheiratet mit Bernd, Sohn Andreas, Tochter Ruth, Sohn Matthias