安度晚年高齡辭世
戰後的美國經濟呈現出了繁榮景象,麥迪遜的威望也提高了許多。在第二屆總統任期結束以後,麥迪遜將職務交卸給他親手指定並在競選中獲勝的詹姆斯·門羅,便於1817年在友善的氣氛中步出白宮,離職隱退了。麥迪遜活到85歲高齡,比他在立憲大會上的所有同事都長壽。他親眼看到了火車和輪船的出現。在1831年,麥迪遜成了最後一位健在的開國元勛。他不僅是最後一個活着的憲法簽署人,而且是當時出席大陸會議和1776年弗吉尼亞立憲會議的惟一倖存者。他說:“我比其他同時代的人活得都長”,“我要記住,我已活得這麼久,人們早該忘記我了。”當時,美國的國土已延伸到密西西比河,成為擁有25個州的大國。1826年,當他的前任、也是他的密友傑斐遜去世以後,麥迪遜繼承其教育事業擔任了弗吉尼亞大學的校長。一直到他生命的最後一刻,他始終保持着對憲法工作的濃厚興趣,但卻沒有靠它再撈政治資本的願望。1829年他擔任了弗吉尼亞大會的聯合主席,修改50多年前他參與制定的州憲法。麥迪遜又回到弗吉尼亞奧林奇縣蒙特彼利埃莊園,這個生他養他的種植園。麥迪遜在他舒適的莊園安詳的和他的妻子去度過餘生,除了擔任弗吉尼亞大學校長外,不再擔任其他職務。1836年6月26日,麥迪遜在蒙特彼利埃去世。他病重時,一位朋友勸他躺在床上不要講話。他幽默地說:“我在床上說話最舒服。”臨終前,為了讓他活到《獨立宣言》發表60周年紀念日,朋友們建議他服用一種興奮劑以延長壽命,但他拒絕了。結果,在7月4日獨立紀念日前幾天他與世長辭了。麥迪遜死後,他的夫人將他在制憲大會上的記錄售與政府。這份珍貴的資料當時並不為人所知,在這個資料的引言中他寫道:不論人們是否認為締造《聯邦憲法》的建築師們都稱職,不論他們所締造的大廈前途命運如何,我總覺得自己有責任表明自己堅定不移的信念,因為我有機會親自傾聽和領會大會中集體和個人的各種觀點,因而形成了以下的信念。我深信:1787年制憲會議的與會者擔負著偉大而艱巨的任務,以無比純正的動機、徹底的獻身精神和高度的責任感,全心全意投入會議工作,以實現人民所寄託的偉大目標,即設計並提出一套完善的憲法體系,補充原有憲法的不足之處,以保證國家人民永恆的自由、幸福。這樣的大會是史無前例的。這段話,我們也可看做是對麥迪遜的最好讚頌。人們通常所不知道的情況是,麥迪遜的兩個副總統都死於任上,而且,麥迪遜曾親自指揮一個炮兵連作戰。麥迪遜死後不久,一份他寫的《對我的國家的忠告》公之於世,他寫道:我發自肺腑的忠告和我心靈深處的信念,就是要珍惜和維護美利堅合眾國,並使其永存。