當時的中國境內(nèi)，總人口不過1000萬人左右，在人與土地這一對矛盾中，人才是矛盾的主要方面，作為統(tǒng)治者，最重要的不是控制耕地，而是控制勞動力。只要擁有足夠的勞動力，即使沒有耕地，也可以通過開墾荒地獲得；但反過來，僅僅擁有耕地，卻沒有代為耕種的勞動力，耕地與荒地也就不存在區(qū)別了。士族在江南的發(fā)展，在某種程度上是與政府爭奪對勞動力的控制權，因此侵蝕了政府存在的基礎。

士族的莊園都控制著大量勞動力，為保證這些人為自己所用，他們往往采取隱瞞戶口的做法，這些勞動力不會出現(xiàn)在政府的戶籍中，政府自然無從向其征發(fā)勞役和稅收，他們成為莊園主私人的部屬。這不僅使莊園的實力增強，也使政府的收入降低。由于征發(fā)勞役和稅收的范圍越來越小，政府在社會各個方面的活動能力也在萎縮，原本應該由政府負責的一些公共設施建設、社會救助等事項，都因為政府的力不從心，而轉由地方豪族來承擔，這反過來又使士族在地方上的影響力得到加強。因此，士族勢力膨脹的過程，同時也就是政府實力萎縮的過程。南朝各代國力都比較弱，士族的力量比較強不能不說是原因之一。

最典型的士族是東晉宰相王導的家族。在當時甚至有“王與馬，共天下”的說法，就是說，東晉王朝的天下，是由皇室司馬氏家族和王氏家族聯(lián)合執(zhí)掌的。王氏本是山東瑯琊（今山東臨沂）的世家大族，正是他們向晉元帝提出了南遷的建議，并隨之南遷，積極支持晉元帝在江南立國的。唐代大詩人劉禹錫（772—842年）有一首膾炙人口的小詩，從江南王、謝二家的變遷，來慨嘆人生的變化，其中提到的烏衣巷，就是王家南遷之后聚族居住的地方。

朱雀橋邊野草花，烏衣巷口夕陽斜。

舊時王謝堂前燕，飛入尋常百姓家。

為了對南遷的移民進行管理，這一時期還出現(xiàn)了一種特殊的地方行政建置，僑置郡縣，就是在移民聚居的地區(qū)，專門設立所謂僑郡、僑縣，依舊使用這些移民在北方時所屬郡、縣的名稱，來對移民進行管理。

北方移民多遷入長江沿岸地區(qū)，使這一地區(qū)的農(nóng)耕經(jīng)濟中，旱作農(nóng)業(yè)所占的比重有所上升，出現(xiàn)旱作農(nóng)業(yè)區(qū)與稻作農(nóng)業(yè)區(qū)的交錯地帶，農(nóng)作物品種、耕作技術以及土地利用方式等方面都趨于多樣化，為江南地區(qū)農(nóng)耕經(jīng)濟的進一步發(fā)展打下了堅實的基礎。