在今天的语境中，“顺手牵羊”这个成语是一个不折不扣的贬义词，顺手把别人家的羊牵走，借用来比喻趁机拿走或者偷走别人的东西，跟“趁火打劫”是一个意思。如同本书中的大部分贬义词一样，这个成语同样很冤枉，因为最初它根本就不是贬义词，只是描述一种客观状态的中性词。
“顺手牵羊”最早的雏形出自《礼记·曲礼上》：“效马效羊者右牵之，效犬者左牵之。”此处的“效”是进献的意思，效马、效羊、效犬就是进献给对方马、羊、犬，“右牵”、“左牵”是进献的礼节。马和羊为什么要用右手牵着，而犬为什么要用左手牵着呢？郑玄的注解是：马和羊用右手牵是因为“用右手便”，犬用左手牵是因为“犬龇啮人，右手当禁备之”。总之，不管左手还是右手，古人习惯的用手方式跟今天没有任何区别，即右手更灵便，劲儿更大。孔颖达则进一步解释，更加清晰：“马羊多力，人右手亦有力，故用右手牵掣之也。犬好龇啮人，故左牵之，而右手防御也。”因为右手相比左手来说更加灵便，因此俗语中就把右手称作“顺手”，取顺便之意。如此看来，“顺手牵羊”的最早语义其实仅仅是指用右手牵羊而已，并没有后来的延伸义。
元明时期，通俗文学发达，“顺手牵羊”以其形象性开始屡屡出现在各种文本之中，比如元代著名杂剧作家关汉卿所作《尉迟恭单鞭夺槊》，秦王李世民的弟弟李元吉嫉恨尉迟恭，在哥哥面前形容他和尉迟恭作战，吹牛道：“我把右手带住马，左手揪着他眼扎毛，顺手牵羊一般牵他回来了。”李世民不相信，让二人同去演武场比试，结果只一个回合，李元吉的槊就被尉迟恭夺去，自己坠马。这里的“顺手牵羊”一语使用的仍然是最早的语义。
因为“顺手牵羊”太过容易，所以大约从清代开始，人们就把这个成语借用来比喻趁机偷东西，一直沿用到今天。