康熙皇帝聽了，臉上紅一陣、白一陣，龍須大愧。后來皇帝準備為張應詔修造一幢府第，就派人到老家去用銅尺丈量地基，后因朝庭出了一些事，張家的府第就修不成了。

　　雍正三年(1725)，張應詔因年邁告原職回歸故里，時年68歲。張應詔啟程之日，共發扛擔十八挑，每擔重約五、六十斤，他途經岳州時由于奸臣上本認為：“自古魚水相依命，從來冰炭不同爐”，當地僚中垢者奉旨阻止，不準張應詔帶走這十八挑扛擔，理由是懷疑扛擔里裝的都是金銀珠寶，要張公無條件留下交出來。張應詔再三說明，我沒有帶上一份金銀，全是自己所用之物。雙方經過長時間的爭執不休，結果張應詔就與當地官人們打起賭來，打賭前，并立下字約。內容兩條：第一條：若這十八挑扛擔里面裝的是金銀財寶，張應詔就愿意承擔砍頭之罪;第二條：如扛擔里裝的不是金銀財寶，你們就要按照這十八挑扛擔的總重量補足張公的金銀財寶。結果全部打開扛擔一看，在場的人們全都驚呆了：這十八挑扛擔里面裝的除隨身衣物外，全是紅磚、青瓦、犁頭、犁片和書籍等。

　　旁邊有人問張應詔，數千里之遙，你將這些不值錢的東西挑到老家去為什么?張應詔答：“這些東西比金銀珠寶還值錢。犁頭犁片、書籍帶到老家去是為了教育子孫后代，以耕讀為本;紅磚、青瓦拿到老家去是為了做模樣自制起一幢書院給學子們讀書檔風遮雨”。他們聽了，啞口無言，乖乖地拿出金銀一萬多兩賠給張應詔。

　　清雍正三年(公元1725年)三月，張應詔以鴻臚寺少卿告京歸里后，將贈銀購置犁、耙、鋤、刀等農具，帶回家鄉，分送四鄰，自家房屋都沒增添寸椽片瓦。見家鄉學館頹壞，子弟無讀書場所，“汲汲以培養人才，訓導鄉里為已任”，聯合鄉中紳士及父老子弟帶頭捐金、捐物，廣開隆里文化之先基，先后修建“圖園書院”和重建“龍標書院”。為重建的龍標書院，張應詔首先捐出家中可為正柱杉樹數十根，又拆自己小樓3間輔助。家鄉父老也慷慨捐資，修復“龍標書院”。 張應詔請師授課，并將皇帝賜贈圖書及家中所藏經、史、子、集與有關農、醫各類書籍60多種2000余卷捐入書院，還捐良田12畝作學田。隆里重建的龍標書院，在《開泰縣志》中被列為黎平府八大書院之首，可見它在當時黎平府內所處的地位及作用。

　　雍正八年(1730)6月26日，張應詔于家中辭世，葬于隆里所西飛鳳山上。張應詔一生著有《六六記》、《問生編》、《心字圖集說》、《楚辭評注》、《將南子注》、《圖園集》等著作。乾隆《開泰縣志·藝文志》將錄其《圖園序》、《學蓮說》及詩10首。

　　張應詔為官四十一年，傾注一身心血為朝庭盡忠，為百姓辦事，清正廉潔以及他告歸故里，“汲汲以培養人才，訓導鄉里為已任”，重建“龍標書院”，捐資興學，為隆里古城的教育文化做了很多好事，隆里古城人們對他十分敬重，直到現在凡龍標書院的師生，每年清明節都要集中為其掃墓，以表對他的緬懷之心。(張凱)