此时的鲁道夫还只是罗马人的国王。想成为皇帝，他还需要在罗马获得教皇的加冕。即便如此，对皇位志在必得的鲁道夫已经无时无刻不将“朕与帝国”挂在嘴边，并为自己的头衔加上了长长的后缀——“帝国永远的开拓者”，他的这一创举也被后世统治者一直沿袭至19世纪。鲁道夫完美地践行了自己在加冕礼演说中许下的诺言。他首先招抚宿敌，并迫使他们签下不平等条约，继而联合莱茵兰地区的城镇清剿盘踞在莱茵河谷中的匪帮。吕德斯海姆附近的苏内克城堡废墟，改建后虽处处散发着19世纪的新哥特风格，却依然可以从中依稀看出当年鲁道夫铁骑遗留的秩序；一如传说中那样，鲁道夫抓住流窜在雷切斯坦附近的马贼，将他们无情地吊死在绞刑架上，然后用绞刑架的木头建起一座小教堂，用来举行弥撒超度马贼罪恶的灵魂。
鲁道夫在重整政务，恢复法纪方面的努力同样成效斐然。在他之前，不乏君主三令五申禁止暴力活动之蔓延，宣扬“自由开化”之风尚，并颁布严刑峻法震慑不法之徒。然而，却鲜少有人建立适当的行政机构确保政令律法得以贯彻执行，以至于领主间的好勇斗狠之风死灰复燃，世仇夙愿愈演愈烈。鲁道夫通过任命“总督”（landvogt）维持领地治安，总督被授予使用武力手段维持秩序的特权。为了支付总督的开支，鲁道夫于1274年对帝国境内所有城市开征新税，八年后他又故技重施。这种将全国划分为不同的行政区域，各自负责本区治安的治国方略正是16世纪初“帝国圈”体系的雏形，并逐渐发展形成一套延续至19世纪的完备执法体系。