这个成语来源于《晋书。谢辊传》，对曰：“隗诚始祸，然城狐社鼠也。”
晋朝时候，朝廷上有个左将军叫王敦，他的长史官是谢辊，他俩常在一块议论朝廷上的事情。有一天，王敦对谢辊说：“刘隗这个人，奸邪作恶，危害国家，我想把这个恶人从君王身边除掉，以此来报效朝廷。你看行吗？”
谢鲲想了一想，摇着头说：“使不得呀，刘隗的确是个坏人，但也是城狐社鼠啊！要挖掘狐狸，恐怕把城墙弄坏；要用火熏死老鼠，或用水灌死老鼠，又怕毁坏了神社庙宇。如今这个刘隗就好比那城上的狐狸、社庙里的老鼠。他是君王左右的近臣，势力相当大，又有君王作靠山，恐怕不容易除掉他。”王敦听了谢辊的话，虽然心里不高兴，也只好罢休。
