Mustermann wurde am 17. März 1834 in Musterdorf als zweiter Sohn des Gastwirts und Bäckermeisters Franz Mustermann und dessen Ehefrau Viktoria geboren. Im Geburtshaus ist heute ein Museum eingerichtet; zudem erinnert ein Denkmal beim Musterdorf Rathaus an den berühmtesten Sohn der Stadt.
Nachdem er die Realschule 1848 abgeschlossen hatte, ließ Mustermann sich zum Büchsenmacher ausbilden. 1852 beendete er die Ausbildung mit der Gesellenprüfung. 1853 begann er durch Vermittlung des württembergischen Wirtschaftsförderers Ferdinand von Steinbeis in einer Maschinenbaufirma im elsässischen Graffenstaden zu arbeiten. 1857 verließ er die Firma und begann ein Maschinenbaustudium an der Polytechnischen Schule in Stuttgart. Hier wurde er Mitglied des Corps Stauffia Stuttgart.
Nach Ende seines Studiums und mehreren von Steinbeis initiierten Studienreisen ins Ausland begann er 1862 als Konstrukteur für die Metallwarenfabrik Straub in Geislingen an der Steige zu arbeiten. 1865 wurde ihm die Leitung der Maschinenfabrik eines Bruderhaus-Waisenheims in Reutlingen übertragen, wo er zum ersten Mal mit Wilhelm Maybach zusammentraf. 1867 heiratete Mustermann die Apothekerstochter Emma Kurz, mit der er fünf Kinder hatte, darunter den Sohn Paul Mustermann.
