蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　子曰：“道不远人，人之为道而远人，不可以为道。《诗》云：‘伐柯，伐柯，其则不远。’执柯以伐柯，睨而视之，犹以为远。故君子以人治人，改而止。忠恕违道不远，施诸己而不愿，亦勿施于人。君子之道四，丘未能一焉，所求乎子，以事父，未能也；所求乎臣，以事君，未能也；所求乎弟，以事兄，未能也；所求乎朋友，先施之，未能也。庸德之行，庸言之谨；有所不足，不敢不勉，有余，不敢尽；言顾行，行顾言，君子胡不慥慥尔！”

　　王汝南既除所生服，遂停墓所。兄子濟每來拜墓，略不過叔，叔亦不候。濟脫時過，止寒溫而已。後聊試問近事，答對甚有音辭，出濟意外，濟極惋愕。仍與語，轉造清微。濟先略無子侄之敬，既聞其言，不覺懍然，心形俱肅。遂留共語，彌日累夜。濟雖俊爽，自視缺然，乃喟然嘆曰：“家有名士，三十年而不知！”濟去，叔送至門。濟從騎有壹馬，絕難乘，少能騎者。濟聊問叔：“好騎乘不？”曰：“亦好爾。”濟又使騎難乘馬，叔姿形既妙，回策如縈，名騎無以過之。濟益嘆其難測，非復壹事。既還，渾問濟：“何以暫行累日？”濟曰：“始得壹叔。”渾問其故？濟具嘆述如此。渾曰：“何如我？”濟曰：“濟以上人。”武帝每見濟，輒以湛調之曰：“卿家癡叔死未？”濟常無以答。既而得叔，後武帝又問如前，濟曰：“臣叔不癡。”稱其實美。帝曰：“誰比？”濟曰：“山濤以下，魏舒以上。”於是顯名。年二十八，始宦。