Benedict Freedman wurde 1919 in New York City geboren und ist der Sohn und Enkel von Schriftstellern. Schon in jungen Jahren zeigte Freedman großes akademisches Talent und wurde in Fortgeschrittenenkursen für begabte Jungen während der High School eingeschrieben. Er excellierte in Mathematik und erhielt eine Medaille für seine Leistungen in diesem Fach. Nach der High School besuchte Freedman die Columbia University als Vorklinikstudent, musste aber im Alter von sechzehn Jahren aufgrund des plötzlichen Todes seines Vaters abbrechen.
Trotz des Abbruchs des Colleges setzte Freedman sein Interesse an der Mathematik durch privates Studium fort. Sein Hauptinteresse galt Spielen und rekreativer Mathematik, und er half bei der Erstellung eines Lehrbuchs auf diesem Gebiet mit. Darüber hinaus arbeitete Freedman auch an Aktuariatproblemen als Klerk eines beratenden Aktuars. Freedmans Leidenschaft für Mathematik und sein natürliches Talent für das Fach ermöglichten es ihm, einen bedeutenden Beitrag zur Disziplin zu leisten, obwohl er keine formale Ausbildung in dem Fach abschloss.