到后来，公子重耳等人在齐国、秦国等诸侯的大力支持下，决心回国夺位。公元前637年秋，胥臣追随重耳到了秦国。
秦国国君秦穆公为了彻底团结晋国，一边大力支持重耳回国当晋国国君，一边安排将五个公族女子嫁给重耳。这五个女子中，其中有一个正是时任晋国国君晋怀公的妻子。
秦穆公在韩原之战俘虏了忘恩负义的晋惠公，后来虽然放了他，但要求将晋国世子晋圉送秦国为质。
为了解决与晋国的矛盾，保持东部边境的安定，以便腾出手来安顿西方戎狄部落，秦穆公还将自己的宝贝女儿怀赢嫁给了晋圉。
晋圉一直关注晋国国内的动向，当他得知父亲晋惠公已快不行了，便私自离开了秦国，回到晋国即了位，即晋怀公。
这将秦穆公给气坏了，秦穆公铁了心，一定要扶持重耳当晋国国君。
由于晋圉在辈分上讲是重耳的侄子，那晋圉的夫人就是自己的侄媳妇，现在却要变成自己的女人，这传出去多大的闲话啊？
重耳当时是很犹豫，虽然重耳女人缘很足，自己也是好色的，但在内心上一百个不乐意娶自己的侄媳妇为妻。
人在穷途可以不要脸，但现在自己马上要成为一国之君了，面子问题那是政治问题了。
但如果不娶怀赢，就逆了秦穆公的意，在自己夺得晋国政权之前，得罪秦国这支强有力的外部支持力量，绝对不是明智之举。
重耳举棋不定中，胥臣出来说话了。
胥臣劝重耳道：“举大事不避小节，我们都将去攻打你侄子了，你还在乎他的老婆做什么呢？
接受此女，是为与秦国结成姻亲以便返回晋国，公子你难道要拘泥于小礼节，而放弃了大业吗？”
这话使重耳终于下了决心，是啊，政治联姻，同样是讲政治嘛。
try{mad1();} catch(ex){}
于是一口气便娶了五个秦国公族之女，当然也包括自己的侄媳妇。
这令秦穆公十分高兴，不遗余力帮助重耳夺得了晋国江山。
重耳回国当上晋国国君，这便是晋文公。由于胥臣追随之功，晋文公后来任命他为下军佐。
这是一个很重要的职位，对晋文公来讲，是非绝对亲信之人不可任的。
胥臣虽然一直以温文尔雅的文臣形象留在人们心目中，但作为一员高级将领，他表现出了与众不同的军事才能。
公元前632年，晋楚城濮大战爆发，胥臣奉命率左军迎战楚军的右军。
当时，楚军的右军主要由楚国的盟军陈国和蔡两的军队。陈、蔡军队主要以兵车为主，人数也占优。
胥臣指挥一部分下军率先发起攻击，这一仗是整个城濮之战的首战。
首战的重要性自然不用多说，如果单凭兵士冲杀，即有可能陷入混战。甚至由于兵力上的差距，晋军极有可能失利。
这对整个战局来讲是致命的。
胥臣冷静分析战场形势后，心生一计。他命人在晋军的战马上都蒙上虎皮，将战马打扮成老虎。
隆隆战鼓声中，晋军的“虎军”全线向敌阵冲去，陈、蔡军队的战马见到老虎，惊慌乱窜，阵形顿乱。
古时的大兵团作战，士气、阵形是至关重要的，士气一消，阵形一乱，基本是败局已定。
胥臣率军乘胜追击，击溃了陈、蔡两国军队。
胥臣率下军取得首战大胜，直接乱了楚军统帅成得臣的部署，楚左军全线出击却又中计，最后全线溃败。
晋军取得了城濮之战的胜利，而如果没有胥臣的首战告捷，那结果还真不知道会如何。