امامزاده سيد جعفر محمد فرزند ابوالحسن علي و نوه ي امامزاده جعفر معروف به سيد جعفر در اواخر سده ي چهارم به دنيا آمد. نسبش با شش واسطه به امام جعفر صادق عليه السلام مي رسد. برخي وي را از نوادگان امام سجاد در سده ي يازدهم ه.ق مي دانند . او در نيمه دوم سده ي پنجم ه.ق در گذشت.
نخستين عالم انسابي كه از نسب شريف امامزاده سيدجعفر محمد سخن به ميان آورده است علامه نسابه ابوالحسن علي بن ابي القاسم بن زيد بيهقي مشهور به ابن فندق متوفاي 565 ه.ق مي باشد.او پس از اشاره به نسب شريف ابوالعباس اسماعيل حسني عريضي نقيب يزد در تقرير نسب او بعد از اشاره به نسب شريف امامزاده جعفر يزد مي نويسد: (( و براي علي بن محمد ابي بكر جعفر (امامزاده جعفر يزد) بن علي بن عبيدالله بن احمد الشعراني بن علي العريضي بن امام جعفر صادق سه فرزند به اسامي ذيل است: ابوالحسن زيد, ابوجعفر محمد و ابوطالب طاهر همين مطالب را ابن مهنا نسابه اشاره نموده و براي سيد ابي جعفر محمد فرزندي به نام محمد ذكر كرده و سپس فرزندان برادر او را با وي همراه نموده است.
علامه كمونه به نقل از عميدي كنيه پدر امامزاده سيدجعفر محمد را ابوالحسن علي ذكر كرده است. ضامن بن شدقم و مولف نزهة العيون تنها به نام برادران امامزاده سيد جعفر بسنده نموده و تعداد فرزندان ابوالحسن علي بن ابي جعفر محمد بن ابي الحسن علي بن عبيدالله بن احمد الشعراني را نه تن به اسامي ذيل نوشته است: ابومحمد محسن, ابوعبدالله حسين, ابوطالب طاهر, ابوالحسن زيد, زينب, لبابه, سكينه, ام كلثوم, فاطمه, ام العزيز. عميدي نسابه عينا كلام بيهقي را تكرار نموده و سپس فرزندان عموي ابي محمد جعفر را با وي خلط نموده است.
از كلام علماي انساب پيداست كه امامزاده سيدجعفر محمد نيز همچون اجدادش به زهد و تقوي متصف بوده و از سادات حسيني مشهور عصر خود بود. پسر برادر او به گفته ي علماي انساب نقابت سادات يزد را به عهده داشته است.
منبع: دانشنامه مشاهير يزد