1926年，苏军部分废除了“双长制”，即部队主官如果不是党员，则配备一名党员担任政委；如果部队主官是党员，则可以同时兼任政委一职。1926年底，第3骑兵军军长铁木辛哥召见朱可夫，向他下达了新的任命：第39骑兵团团长兼政委。
第39骑兵团在朱可夫的治下越来越有名气，自然受到更多领导的关注。1927年初，他接到通知，掌管全军骑兵工作的布琼尼要来视察。在得到布琼尼的肯定后，其他高级领导也纷纷来到第39团视察。
1929年，红军开始在骑兵部队组建机械化部队，每个师配备一个试验机械化团。朱可夫的第39团被选中，成为全军第一批机械化团，他也成为第一批机械化部队指挥员。
指挥机械化部队又是一个全新的任务，当时世界各国也都处在试验阶段。经过一段时间的摸索，朱可夫认为坦克部队应该特别注意后勤、维修和操控等方面的细节。所以对坦克兵提出了一套严谨的作风要求，他特别强调除了在车间、汽车房和坦克停放场外，严禁任何人穿工装，任何时候都要穿规定的制服；作战演习回来后，必须立即把装备擦洗干净，不管什么时候都是这样。
每次演习结束后，朱可夫都要到现场检查，如果他断定哪个人干不好工作，就会立即将那个人调离自己的部队。朱可夫的管理虽然严厉，可大多数人还是愿意待在第39团，因为跟着朱可夫可以学到更多的东西，而且他是有名的处事公正的指挥员。
一天夜里，一个坦克连完成战术演习返回驻地。连长见士兵们都疲惫不堪，所以请求坦克停车场值班军官高抬贵手，允许士兵们先回去休息，他保证明天一早就会过来把坦克清洗干净。值班军官犹豫了一下，最后还是同意的，尽管他知道团长是绝不允许的。
一个小时后，朱可夫突然来到坦克停车场检查，发现了没有清洗的坦克。值班军官很惊慌，急忙向朱可夫解释说：“坦克手在完成演习回来后，都已经筋疲力尽了。”
朱可夫表情严肃地对值班军官说：“愿意帮助同志是非常值得赞扬的品质。但你知道你并没有帮助他们，相反你违抗了指示，还让他们违反军纪……演习之后的疲乏和我们每个人在战时将要经受的考验比起来简直是小儿科。你应当撤职并接受军法制裁，但我今天破例不这样做，组织上会审查你的行为，然后我再决定给你什么处分。”
说完之后，他把营长和连长叫来，命令他们组织大家把坦克擦洗好。两个小时后，朱可夫把完成任务的连长叫来说：“我感到你还不够成熟，不足以担任连长。你认真考虑一下，然后告诉我你自己的意见。我警告你，下次再发生这样的事情，绝不会轻易放过你。”
朱可夫治军有各种各样的办法，其中“擦皮鞋事件”一度传为美谈。
有一次他检查执勤哨兵，发现有一个士兵的皮鞋擦得不亮，于是他让当日执勤军官作出解释。那个执勤军官是刚调到第39团的，还摸不清朱可夫的脾气，他没有直接回答朱可夫的问题，而是回头质问哨兵为什么没有擦皮鞋。
朱可夫打断了军官的话，直截了当地说：“我问的是你，不是他。我感兴趣的不是你的反应，而是你的意见。”军官很难为情，不知道说什么好。朱可夫的口气这才缓和了一些，然后说：“在这件事上，重要的不是鞋没有擦，而是你没有注意这个问题，他可能由于疏忽忘记了，但你应该在战士上岗前检查他们的勤务。”
说完朱可夫让副官拿来一个小凳和擦鞋工具，然后让哨兵把鞋踏在凳子上，俯下身一边给哨兵擦鞋，一边给他讲怎样才能把皮鞋擦得又亮又快。擦完一只后他让哨兵自己擦好另一只，还叮嘱他把皮鞋擦好后给自己看。
1929年底，朱可夫进入伏龙芝军事学院高级指挥员班深造。其间他拜读了伏龙芝的遗作，以及沙波什尼科夫所著的《军队的头脑》、图哈切夫斯基所著的《现代军队的作战特点》和叶戈罗夫所著的《消灭邓尼金》，其中《现代军队的作战特点》中涉及的坦克在未来战争中的作用引起了朱可夫浓厚的兴趣。
1930年1月，第7骑兵师更换主官，改由朱可夫的好友、列宁格勒高等骑兵学校的同窗罗科索夫斯基担任师长。1930年5月，学成归来的朱可夫也获得晋升，担任该师第2旅旅长，成为罗科索夫斯基的部下。第2旅下辖第39和第40团。当年底朱可夫被布琼尼调到莫斯科，担任骑兵监察部助理，从此离开了他最有感情的第7骑兵师。
临行前第39和第40团的全体官兵为朱可夫举行了欢送宴会，这让朱可夫颇为感动。宴会结束后，他把所有家当装进一个手提箱，带着妻子和2岁的女儿前往莫斯科。
朱可夫在骑兵监察部任职期间正是红军大力发展机械化部队的时期。此时各国都开始尝试如何把坦克和飞机更好地纳入作战体系，而且都陷入了困境。综合比较德国的发展更快一些。时任苏维埃军事委员会副主席的图哈切夫斯基曾赴德国观看过他们的演习，回来后成为是红军内发展坦