Philipp Schwarzerdt stammte ursprünglich aus Bretten in Baden-Württemberg. Sein Vater war Rüstmeister am Pfälzischen Hof und hatte nicht die Zeit, sich um seine Kinder zu kümmern. So wird Philipp zunächst der Obhut seines Großvaters anvertraut. Als dieser und sein Vater innerhalb von elf Tagen sterben, nimmt ihn in Pforzheim Johannes Reuchlin, der bekannte Humanist und Großonkel seiner Mutter auf.
