五华居民绝大部分为“客家人”，“客”即与“主”相对而言。“客家”先民，世居中原湖北，河南，陕西，山东，山西一带，是古代汉族的一支。上代多为仕宦之家，书香门第。后因战乱，饥荒等原因，逐渐南徒，定居南方各省。因多住山区，与外界极少往来，保留了较多的古代汉族风俗和语言，因而自成一“家”。今全国汉族八大方言之一的操“客家方言”的民系称为“客家人”。  
“客家人”的先民由中原一带向南迁徒，主要有三个时期。第一次是西晋末东晋初“永嘉之乱”，他们因避乱而南迁，多系弃官携眷南逃，故称为“衣冠南下”。最初有河南，山东，山西，河北迁向安徽，湖北一带，远者已进入江苏，浙江及江西，福建一带；第二次，是因唐末黄巢起义，客家移民又向南迁徒，多住进福建，江西，远者进入广东之粤东，粤北一带；第三次是南宋高宗南渡之后，元兵进逼，客家先民又继续南迁，进入粤东之梅州，惠州一带。因当时户籍有“主”，“客”之分，移民入籍者皆编入“客籍”，皆自称为“客家人”以示与“主籍”的区别。 

宋末文天祥起兵勤王，元朝统治者大肆杀戮当地居民，造成梅州一带地旷人稀。这时，住在福建，江西的客家人，便大量涌入粤东，以梅州为集散地。由于“客家”移民的不断涌入，到后来，“客”胜于“主”，户口已无主客之分。自称“客家人”的民众，已成为梅州的主宰者。这就是“客家人”由“客”变“主”的历史过程。 

清康熙年间，因四川长期遭受战乱和瘟疫灾荒，人口大减，清廷曾发起“移湖广，填四川”的移民运动。此时，由中原一带移居两广两湖的汉民，响应号召（或饥荒），大量涌入川，先在粤东一带的“客家人”，远者到四川，云南，贵州，近者进入广西，湖南，湖北。次后，或因饥荒，或因“主客之争”及其他政治原因，客家人又陆续迁往海南，台湾和南洋群岛等地。这些至今仍保留较多古汉语方言和保守古代中原汉族风俗习惯的汉民，就是今天散居于我国南方各省及至世界各地的“客家人”。这就是“客家人”的由来。 

目前，“客家人”分别定居于广东，福建，江西，湖南，四川，云南，贵州，台湾等10多个省区的200多个县，市，以及迁居于香港，澳门和海外泰国，马来西亚，新加坡，印尼，毛里求斯，文莱，留尼旺，美国等国家和地区，足迹遍及五大洲，总人口约近1亿。