蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　謝萬北征，常以嘯詠自高，未嘗撫慰眾士。謝公甚器愛萬，而審其必敗，乃俱行。從容謂萬曰：“汝為元帥，宜數喚諸將宴會，以說眾心。”萬從之。因召集諸將，都無所說，直以如意指四坐雲：“諸君皆是勁卒。”諸將甚忿恨之。謝公欲深箸恩信，自隊主將帥以下，無不身造，厚相遜謝。及萬事敗，軍中因欲除之。復雲：“當為隱士。”故幸而得免。

　　顧長康畫謝幼輿在巖石妙。人問其所以？顧曰：“謝雲：‘壹丘壹壑，自謂過之。’此子宜置丘壑中。”