Baginda diputerakan pada hari Rabu, 19 Julai 1922 di Klang Selangor. Baginda merupakan putera kepada DYMM Almarhum Tuanku Abdul Rahman ibni Almarhum Tuanku Antah dengan Che Engku Maimunah binti Abdullah.
Dibesarkan di Bandar Diraja Seri Menanti, baginda mula bersekolah di Sekolah Melayu Seri Menanti. DYMM Almarhum Tuanku Ja’afar kemudiannya berpeluang melanjutkan pelajaran ke sekolah berasrama penuh lelaki di Perak iaitu Kolej Melayu Kuala Kangsar (MCKK).
Pada tahun 1940, baginda ke Singapura untuk menuntut di Kolej Raffles sehinggalah berlakunya penjajahan Jepun di Tanah Melayu dan Singapura. Baginda kemudiannya pulang ke Negeri Sembilan atas faktor keselamatan pada tahun berikutnya.
Baginda berumur 18 tahun ketika Jepun menduduki Tanah Melayu. Baginda kemudiannya berkhidmat di bawah pentadbiran Pejabat Tanah Seremban, Rembau dan juga Kuala Lumpur.
