Setelah menyelesaikan pendidikan di Fakultas Kedokteran Universitas Airlangga (Unair), Surabaya pada 1964, ia meniti kariernya pada TNI-AL dengan mengemban sejumlah jabatan. Ia pernah menjadi Perwira Kesehatan di KRI Irian, Juru Bicara Fraksi ABRI di MPR, dan Kepala Dinas Pembinaan Mental TNI-AL. Pengabdiannya di TNI-AL selama hampir tiga dasawarsa dan minatnya yang tinggi terhadap psikologi, terlebih lagi latar belakang keagamaannya yang kuat mengantarnya menjadi Kepala Pusat Pembinaan Mental ABRI.
Setelah pensiun dari militer dengan pangkat Laksamana Muda, ia diangkat sebagai Sekjen Departemen Agama Indonesia selama lima tahun, sebelum diangkat sebagai menteri pada tahun 1993. Selama menjabat menteri, dua inisiatif penting yang ia laksanakan adalah pengembangan Siskohat (Sistem Komputerisasi Haji Terpadu) dan pembentukan Dana Abadi Umat (DAU). Selepas menjadi menteri, ia ditugaskan ke Oslo sebagai Duta Besar RI untuk Norwegia merangkap Islandia. Ia juga pernah menjabat sebagai Ketua Umum Pimpinan Pusat Dewan Masjid Indonesia periode 2006–2011 dan rektor pada Universitas Islam Az-Zahra di Jakarta periode 2004–2008.
Tarmizi Taher lahir dari pasangan Taher Marah Soetan dan Djawanis. Ayahnya adalah seorang aktivis pergerakan kemerdekaan di Sumatera Barat yang mendirikan organisasi Serikat Usaha dan merupakan agen perkapalan di Pelabuhan Teluk Bayur. Ibunya adalah seorang aktivis Islam yang pernah menjabat Ketua Aisyiyah Sumatera Barat. Sedangkan kakeknya, Tuanku Syekh Sabir adalah seorang ulama terkenal dari Batusangkar, Tanah Datar.[2] Dari pernikahan dengan dengan Hj. Djusma, Tarmizi Taher dikaruniai empat orang anak, tiga laki-laki dan satu perempuan. Mereka adalah Afgan, Sakina, Halbana, dan Digantoro.
Sebagai penghormatan atas jasanya sebagai dokter Angkatan Laut dan baktinya kepada negara, Rumah Sakit TNI-AL Lantamal II di Padang, Sumatra Barat, dinamakan RSAL Dr. dr. Tarmizi Taher.[3]