到达江西境内后，王阳明暂停了脚步。因为江西广信上饶吸引着他，那里有一位当世大儒娄谅。
从少年时代起，娄谅就有志于成为圣贤的学问，曾到处求教。后来，他拜吴与弼为师。
吴与弼这个人有点怪，他的学说讲究的是身体力行。经常与弟子在田间劳作，刮风下雨从不耽误。有一次，天还没有亮，他就开始簸谷子。看见弟子陈白沙还在呼呼睡大觉，便大吼道：“秀才，若为懒惰，他日何从于伊川（程颐）门下？又何从于孟子门下？”
还有一次，他在割庄稼的时候伤了手指，并没有停下去包扎，而是自言自语道：“何为物所胜？”
吴与弼推崇的学说被后人称之为“康斋之学”。康斋之学完全遵从程朱之道，注重“静时涵养，动时省察”，终生以“存天理去人欲”为念。
吴与弼学识渊博，弟子众多，形成了“崇仁学派”。吴与弼的众多弟子中，最被人称道的就是陈献章、胡居仁与娄谅三人。娄谅天性聪颖，但从不持才傲物。