再说这杜之松知道此事后非但不生气，反而自觉思虑欠佳，逢年过节都给王绩送好酒好肉。王绩也一一照收，似乎倒也没有放在心上。
如果说陶渊明做官又归隐更多是因为官场上的黑暗和权力斗争的虞诈，那么王绩辞官归隐则更倾向于自身性格和嗜酒放浪。
王绩归隐时并不像陶渊明“种豆南山下，带月荷锄归”那样躬身亲耕，他还带着一堆侍女下人，自己只是帮帮忙种种喜欢的东西。加上彼时名气大，远近朋友都有所资助，当时唐朝初兴，贞观之治天下太平，所以他过得并不艰难。不是像陶渊明那般睡觉都没有好地方，还要忍饥挨饿，养五个儿子。这些特点都可以从他的诗文中得到展现，他还有一个更加不同的地方，陶渊明的隐居是避世孑立，基本上在一个世外桃源所在过完一生。而王绩却不是个能够安静下来耐得住寂寞的人，他即使隐居也常常出去寻找其他隐士、道人。
一天清晨，这会儿天刚蒙蒙亮，还不大看得清楚路。路旁的毛草尖儿上顶着一颗颗晶透的露珠，那露珠透着草尖儿，好像一颗远古的琥珀。忽然一人披着披风带着斗笠像一阵风一样划过，露珠滑落，坠入泥土，一会儿便消失不见。这个人走过这片草地，翻过一座高山，这时天已尽明，山上仍旧绕着一些如薄纱般的水雾。忽而刮来一股微风，仅仅是拂过脸庞也让人不禁一颤，于是他便走进一片树林，找了一块比较平坦背风的地方坐下。搜寻来一些干枯的针叶和枯草，用干树枝搭起了一个篝火，取出火石点燃枯草干叶，不一会儿就生起火来。这人取出一口小小的铜釜，架在火上，把葫芦里装的酒倒了一些进去，他坐在火堆旁边一颗树下，取出一本《道德经》读了起来。
一次，他在途中偶遇一个历练修仙的道人。这个道人为了修仙已经四处游历了多年，每到一所道观都会与道长论道，讨教炼丹、长生的方法。日子过得甚是清贫，身上那件道服已经泛黄，还有几处打上了厚厚的补丁。吃饭常常是有上无下，整个人都比较精瘦，枯黄的脸给人一种很苍老的感觉。两人途中偶遇，王绩就取出酒和干肉干粮与他同食， 两人谈经论道快意无比。只不过王绩可不是那种可以为了某种东西放弃自己自由潇洒的人，所以他对那道人说“相逢宁可醉，定不学丹砂”。
