D'Ormesson zemřel na infarkt ve svém domě v Neuilly u Paříže. Část dětství trávil na zámku v Saint-Fargeau, který patřil jeho rodině. Zážitky z této doby zpracoval ve svém asi nejznámějším románu Au Plaisir de Dieu.
V roce 1973 se stal jedním ze čtyřiceti členů prestižní Francouzské akademie, kterým se přezdívá "Nesmrtelní". V sedmdesátých letech byl ředitelem konzervativního deníku Le Figaro. Za své literární dílo obdržel řadu ocenění.