乡绅出来时碰到了汤姆，汤姆见他气得要命的样子，不禁问出了什么事。乡绅一五一十地将索菲亚的事告诉了他。
“汤姆，平日里你们两人处得挺好，你去帮我劝劝她吧。”这个糊涂的乡绅哪里知道自己的女儿不愿嫁人就是因为眼前这人的缘故。
汤姆二话没有，立马去找索菲亚，见她从地上刚刚爬起来，眼里尽是泪水。他扑上前去，一把搂住心爱的人，温柔地问道：“我的索菲亚，你怎么弄成这样？”
她抬起眼，望着他，说：“汤姆，您来这儿做什么，您快点走吧。
我不想再见到您了。”
汤姆说：“索菲亚，您怎么能这么狠心说这种话。我不能离开您。
真的，我不能离开您。”
“汤姆，如果您从没有救过我该多好啊。当时我死掉了，就不会有今天这样的痛苦了。如今我们都会很幸福的。”
“会很幸福？怎么可能。除了您，我不知道还会为谁而活着。”
他激动地提高了声音，并且紧紧地握住了她的手，索菲亚并没有将手缩回来，而是任由他握着。
“汤姆，您知道我即将要结婚的事情吗？”
“我知道，我亲爱的索菲亚，您的父亲要将您嫁给布利非。可有谁知道我是这个世上最爱您的人，看到您难过，我的心都在滴血。”
索菲亚久久地站着，望着她的情人，心乱如麻，难过地说：“一切都来得太晚了，我能早点儿爱上您就好了。如果我是个穷人，您也会爱我的，是吗？”
“索菲亚……”
“现在，请您赶快离开吧，永远地离开我。不要为我伤心。”
“我做不到，我不能，我不能离开您。”汤姆几乎要抓不住她的手了，索菲亚无声地流着泪水。
这对可怜的情人默默地站在那里，颤抖着，没有任何言语可以来描述他们当时的痛苦。
这时候，乡绅从他妹妹那儿得知了索菲亚的真正感情，急急地赶回来，打开门，怎么也没有想到竟会是眼前这般光景。
索菲亚看到父亲气得惨白的脸，吓得昏倒在了汤姆的怀里。
乡绅一个箭步冲过来，夺过自己的女儿，大叫道：“我真是瞎了眼了，我得揍你一顿不可。你小子，给我放聪明点，赶紧给我滚出去。
从今往后再也不许踏进我们家。”
汤姆被恶狠狠地赶了出来。
翌日一早，韦斯顿乡绅闯进了奥尔华绥先生家，开口就是：“都是你做的好事，你收养的那个汤姆简直是把我家搞得乱七八糟了。”
“到底出什么事情了？”
“我家女儿居然爱上汤姆·琼斯了，竟会有这等事。这都是你的错，当初干嘛要收养那种弃儿，如今惹出那么多事情来。让我抓到他，非饶不了他，我要将他送进监狱去。”韦斯顿实在是不解气。
“好街坊，你确定吗？我真的想不到会发生这种事情，真是对不起。”
“对不起，我的索菲亚，她是我的心肝宝贝啊！我怎么也不能让她跟汤姆那小子一块儿的，您得好好地惩罚他。”
“您冷静些，我们慢慢说。”
“冷静，我怎么能冷静？我怎么也想不到他背着我会做这等事。”
最后，奥尔华绥好不容易才把这个气得快要失去理智的家伙劝回家，现在只剩下他与布利非了。
“你对这事怎么看？”奥尔华绥先开口。
布利非没有多加考虑，说：“我还是会娶索菲亚小姐的，如果我不娶她，放任她与汤姆。那么最后韦斯顿先生只会将那可怜的索菲亚赶出家门的。我怎么也不忍心看她沦落街头而不救她。虽然她现在并不爱我，可若我娶了她，不但把她父亲从痛苦中救出来，也是在为她将来的幸福着想啊。想想汤姆他真是做了太多的坏事，唉，但都会过去的。”
“他还做了什么坏事，是我不知晓的？我现在命令你，赶紧告诉我。”奥尔华绥说。
“我说了，您可别生气啊。在您生病的时候，全家人都伤心流泪，他居然喝酒，唱歌，还发酒疯。我劝了他一下，就被他打了一顿。而且就在当晚，我与斯维克姆先生还看到他与一个女人在一起说话。我们上去斥责他。他不只将我，还把老师也给打了。如您不信，可以去问斯维克姆先生。”
奥尔华绥叫来了斯维克姆，看到汤姆在他身上留下来的打痕，一切都验证了布利非的话。此时的奥尔华绥已经对汤姆失望到了极点。
等汤姆回来后，奥尔华绥将他叫到了房间里，先数落了他所犯下的罪过，最后说，为了惩罚他，必须要将他赶走。
“从前犯错，我念你年幼无知，屡屡原谅你，可是你一错再错。
如今你想要诱拐韦斯顿先生家的女儿，这事我怎么也不能原谅了。为了我的名誉，我必须惩罚你。我为你犯的错感到可耻，从今天起你不许再进这个家门。这里是一些给你的东西，我总不能叫你什么都没有就走。”那是奥尔华绥留给他的一些钱财，希望他能改过自新，好好过日子。
泪水在汤姆的眼中不断地涌出，他知道这回怎么也不可能求得原谅了，奥尔华绥的决绝令他心寒。汤姆吻了吻他的手，然后失落地离开了。
汤姆痛苦极了，在绝望中漫无目的地行走着，根本没有在意奥尔华绥留给他的东西，一路走来一路将东西丢掉。其实此刻最令他痛苦的不是被赶出家，而是对索菲亚的感情。他知道自己离不开她，但为了她的终身幸福又不得不离开她。
他下定决心离开时，写了封信给心爱的人。信是这样的：
索菲亚：
我决定遵照你的的意愿，永远地离开这里。为了保全您的名声，请您必须将我这个不幸的人忘记。为了您的安宁，请将我抛得一干二净吧。我深知您是如此的善良，如此的可爱，我不能毁了您的幸福。
离开了您，我将一无所有。愿上帝保佑您！
您的朋友汤姆·琼斯
他想将信封起来的时候发现，自己已将身上的东西给丢完了。现在他重新回去找，在路上遇见了看护猎场的乔治，两人一块儿找落下的东西。东西是找着了，而里面的钱财早已被看护猎场的乔治给捡去了，虽然他知道汤姆的不幸遭遇，但是世上的人谁也挡不住钱财的诱惑。
最后乔治帮汤姆将信带给了小姐，没有想到的是小姐给汤姆回了信，还为他带来了一笔钱。这可要乐坏了他，他将信看了不下百遍。
自从索菲亚被乡绅发现自己与汤姆的事后，一直就被囚禁在了屋子里，哪里都不准去。
乡绅告诉自己的妹妹，说：“我把她锁在了屋子里，过上几天她就会听我的话了。”
韦斯顿女士对哥哥的做法是大失所望的，她说：“你们男人从来就不考虑我们女子的感受，将她关起来只会坚定她的意志。索菲亚是吃软不吃硬的孩子，做姑姑的难道还不知道她的个性？我看还是先将她放出来，好生劝服的才是。”
乡绅说：“我是她父亲，我有做的不对吗？”
韦斯顿女士说道：“她跟我生活的时候哪里产生过恋爱这样的怪念头，就是因为回来才出事的，你就没有想过是你自己糊涂一手造成的吗？”
乡绅大怒道：“你不至于认为是我叫她去恋爱的吧？”
“如果你能聪明些，早点发现苗头不对，就不会有今天的事情了。”
“我怎么能知晓汤姆那小子来我家是不怀好意，亏我还待他这么好。现在我把女儿交给你，你可一定要将她劝回来啊。”
“我知道该怎么办！为了我亲爱的侄女，我愿意将这责任担下来。”
韦斯顿女士决定要为侄女悬崖勒马。