在帝国初期，罗马社会阶级仍分为贵族、骑士、平民和奴隶四个阶级。贵族阶级成分已根本改变，旧氏族贵族后裔已死亡殆尽。在恺撒时，氏族贵族可考者仍有四十五个家族。到了哈德良时，只有一家存在，其余的都绝了后代。奥古斯都与克劳狄皇帝曾拨二十五家族补充氏族贵族。到了尼禄时，此二十五家中，仅有六家存在，其余的子孙断绝。
公元65年，世系可以查考的元老院的元老，约有四百人，一代以后，半数消灭。韦帕芗皇帝曾将各省市富有的贵族千人，迁移罗马，以充实罗马贵族。这些新贵族大半是有罗马公民权的各省外族人，他们既没有罗马人的历史传统，更没有对于罗马国家的热爱。
在帝国初期，元老院仍是贵族阶级的堡垒。奥古斯都曾规定元老的产业资格为一百万塞斯退斯，并规定元老官职升迁次序，在当时元老院尚有一定的行政、立法和司法等大权，以后就逐渐消减。提比略曾把民众大会的选举权移交元老院。但他往往提议候选人，元老院不能自由行使职权。在奥古斯都时元老院有自己的直辖省，由元老担任各省高级官吏，并掌管各省财政。但到了公元三世纪，元老院所辖各省，完全由皇帝直接统治了。这样，元老院在公元三世纪时，已丧失了一切政权。但元老们仍有绝大的经济实力，他们是大地主，占有大量土地，并拥有大批奴隶，社会地位仍极尊贵，构成罗马的豪门贵族。
骑士阶级仍是罗马的特权阶级。凡帝国各省公民在十八岁以上，而有四十万塞斯退斯产业，经皇帝许可者，皆可加入骑士阶级。在帝国初期，历代皇帝如奥古斯都、塞维鲁等，皆重用骑士，担任各级官吏。这些骑士亦有种种官衔和一定升迁步骤，最后可以进入元老院为元老。这些上升的骑士所留下的空额，往往由富有的被释放的奴隶和有适当资格的各省市的贵族递补。
公元二世纪时，骑士阶级由意大利人和帝国西部各省人补充者渐少，而由非洲和小亚细亚人补充者渐多。到了公元三世纪，骑士阶级主要由叙利亚人、阿拉伯人和埃及人补充。这些外省人大多数是被释放的奴隶。因此，在帝国时代骑士阶级在成分上亦有了显著变化，罗马人渐少，而各省外族人渐多，与共和时代骑士阶级有了本质上的差别。
到公元三世纪时，罗马平民阶层在质量上亦已发生巨大变化。在共和时代第二次布匿战争时，罗马人口死亡约三分之一，以后因为奴隶制的发展，罗马人民因受奴隶劳动的排斥，丧失了生产资料，日益贫困，不敢多生儿女，以免增加负担。在第二次布匿战争后，罗马奴隶主又进行一系列的海外侵略战争，人口伤亡更多，而且迫使百分之二十的人口长期参加军役，不能享受家庭生活，致使生育率降低。其次，内战，瘟疫，皆使人口减少。大批在国内无法生活的人，又往往逃亡海外，落户异乡。在某一时期人口虽偶有增加，但总的趋势则是逐步下降。
在帝国初期，奴隶数目仍然很多，但奴隶来源减少。奴隶劳动已经不能再为奴隶主获得巨大利益，而奴隶生活费用反成为奴隶主的重大负担。因此奴隶主释放的奴隶日渐增多。这些被释放的奴隶，大多数是叙利亚人、希腊人和已经希腊化的地中海东部人。罗马城内被释放的奴隶，百分之七十是希腊人，在拉丁姆，百分之六十四是希腊人。他们主要在奴隶主家庭中工作，获得释放机会较多。其来自北方和地中海西部各省没有文化的奴隶，大多数在大庄园里和矿山上工作，工作繁重，死亡率很高，获得释放机会亦少。
这些获得释放的奴隶，在一定条件下，很容易得到罗马公民权，可以自由经营工商业，或受奴隶主委托经营工商业，富有之后，可以担任罗马国家各级官吏，甚至于上升为骑士和元老，并逐渐与罗马人同化，而代替了罗马人。奥古斯都为阻止这种趋势的发展，曾颁布许多法令，限止奴隶主释放奴隶每次不得超过一百人，并征收高额奴隶释放税。凡犯有“罪行”的奴隶，虽经释放，亦不能取得罗马公民权。但奥古斯都一切法令皆没有收到预期的效果。罗马人数量既渐减少，终于在血统上和思想上，被帝国东部各省人所同化。
