مادر یزید «میسون» بود و در بسیاری از کتاب های تاریخی از یزید به عنوان فردی «حرام زاده» نام برده اند [اما به هر علّت، معاویه را پدر یزید می دانند]. معاویه ناچار شد از مادر یزید جدا شود، به همین جهت او را به منطقه ای که قبیله پدر میسون در آنجا زندگی می کرد فرستاد و یزید در آن محل متولّد شد.
افراد قبیله مادرِ یزید قبلاً مسیحی بودند، از این رو همه افراد قبیله مسلمان نشده بودند. تاریخ نویسان نوشته اند: بیشتر مربیان و استادان یزید مسیحی بودند.
یزید در آن محیط مسیحی بزرگ شد و تربیت خاص آنان بر او آنچنان اثر گذارد که بعدها مسیحیان را از مسلمان ها به خود نزدیک تر می دانست و حتی تربیت فرزندش، «خالد» را به یک مسیحی سپرد.
همه تاریخ نویسان گواهی می دهند که یزید از تربیت اسلامی محروم بود و به شدت از آداب و رسوم بیگانگان پیروی می کرد و به کارهای زشت، مثل: خوش گذرانی، شراب خواری، رقص و غنا و سگ بازی مشهور بود.