到了齐国，桓公马上任用管仲为宰相，这连管仲自己都没有想到。
齐国在今山东半岛一带，从整个周朝来看，只不过是东边的一个小国。如何使这个小国登上天下霸主的地位，这是管仲日夜思索的问题。
他决心要先整顿“法制”，谋求中央集权的强国富民政策。人性本是趋利避害的，因而必须实行以法为基准、赏罚分明的制度以达成严格的君主统治。而富足民生，拉拢人心更是明君之道。此外，还需同时致力于远播威名于四海的工作。这些不只是强国思想，也是称霸天下的统治思想。
齐国与鲁国相邻，由于国界绵延相连，武力冲突不断。齐桓公五年，齐国打败鲁国，鲁国只得割让自己一块土地求和。鲁王与将军曹沫一起前往齐国谈和。议谈中，曹沫突然站起来举起短剑抵在齐桓公胸前。以必死的眼光逼视着桓公说：“我鲁国是个小国，如今由于大王的侵略，国土越发狭小，无论如何请齐王退回所夺去的土地。”“我答应。”桓公只得听命。
“那么，就在这里订下归还土地的盟约吧!”
由于短剑抵在桓公胸前，谁也不敢插手，于是签订了归还土地的盟约。
桓公为了保命才归还土地，并非真的要归还，他在鲁王离去后．立即向群臣说：“盟约另行书写，绝不退出占领地，原有盟约无效。”此时管仲劝谏桓公道：“君主的心情我理解，但那样做必定因小失大。轻易破坏既定的法则，失信于诸侯，将会失去得天下最重要的后盾，千万不要迷恋于这样的一小块土地。”