Né en 1937, ses premiers souvenirs remontent à juin 40, et son enfance, passée sous l'occupation allemande, dans le même appartement qu'il habite toujours, près du Sénat investi alors par l'Etat-Major de l'Air allemand, lui a donné le goût irrémédiable de l'histoire et de ses drames. Son père est un universitaire et un homme de lettres qui lui a ouvert sa culture et sa bibliothèque. Joël Schmidt a eu une scolarité difficile qui l'a conduit fort tard à l'université où il a passé sans difficulté une licence d'histoire et de géographie et une maîtrise d'histoire.
Son goût de l'indépendance s'est manifesté dans une carrière d'écrivain (il est l'auteur d'une trentaine de livres, histoire, romans, essais, biographies), de critique (il est chroniqueur littéraire depuis 1966 à l'hebdomadaire protestant Réforme), et d'éditeur, comme lecteur dans de nombreuses maisons d'édition, comme membre du comité de lecture des Editions Albin Michel, ayant son bureau chez lui, maître et organisateur de son travail et de son temps, où il reçoit et conseille les écrivains.
Il a obtenu un certain nombre de prix littéraires (mineurs, mais appréciés dans la profession), et est membre de comités d'associations littéraires comme la Société des Gens de Lettres, Sofia pour les droits numériques, et le Pen Club français, dont il est vice-président.