Nama sebenarnya adalah ‘Amir bin ‘Abdullah bin al-Jarrah al-Fihri al-Quraisy al-Makki. Beliau salah seorang sahabat yang dijamin masuk Syurga, memiliki wajah yang berseri, tampan orangnya tinggi lampai, tidak gempal dan berjambang nipis. Beliau mudah mesra, tawaddhu' dan pemalu. Namun, di saat yang genting beliau bagaikan singa yang mencari mangsa. Kualiti iman dalam dirinya dapat kita ketahui melalui sabda Baginda Nabi S.A.W, “Sesungguhnya setiap umat mempunyai orang kepercayaan, dan orang kepercayaan umat ini adalah Abu Ubaidah bin al-Jarrah.” - Riwayat al-Tirmizi
Abdullah bin ‘Umar pernah menjelaskan perwatakan Abu Ubaidah ini, “Tiga lelaki Quraish yang paling berseri wajahnya, paling baik akhlaknya, dan paling teguh sifat malunya; Jika mereka berkata kepadamu, mereka tidak berdusta. Jika kamu berkata kepada mereka, mereka tidak akan mendustakannya. Mereka adalah Abu Bakr, Uthman bin ‘Affan dan Abu Ubaidah bin al-Jarrah.”
Manakala diriwayatkan yang dinayatakan oleh Saidatuna Aishah R.A.H, beliau berkata, “Rasulullah S.A.W pernah ditanya, Siapa yang engkau cintai (dari golongan laki-laki)?”
Baginda menjawab, “Abu Bakar.”
Lalu ditanyakan kepada Baginda lagi, “Kemudian siapa?”
Baginda menjawab, “Abu Ubaidah bin al-Jarrah.” - riwayat al-Tirmizi dan Ibnu Majah. Dalam riwayat lain mengatakan bahawa Umar al Khattab.
Abu Ubaidah bin al-Jarrah dilahirkan di Makkah, di dalam sebuah rumah keluarga suku Quraish yang dihormati dan disegani oleh pemuka kabilah masyarakat Arab. Meskipun demikian, Abu Ubaidah juga tergolong di dalam golongan yang paling awal memeluk Islam, agama yang menjadi ancaman kepada masyarakat Arab jahiliyyah ketika itu. Abu Ubaidah memeluk Islam sehari selepas pengislaman Abu Bakar dan ini adalah hasil daripada dakwah Abu Bakar kepada Abu Ubaidah.
Pengislaman Abu Ubaidah disaksikan Abdul Rahman bin ‘Auf, Uthman bin Maz’un dan al-Arqam bin Abi al-Arqam yang telah mengucapkan syahadah di hadapan Rasulullah S.A.W. Maka, ini bermakna Abu Ubaidah adalah golongan yang bersama Rasulullah daripada awal hingga akhir perjuangan mereka di Makkah. Seperti mana yang kita ketahui, pada waktu itu mereka ditimpa pelbagai seksaan disebabkan ajaran yang dibawa oleh Baginda Nabi.
Kehidupan Abu Ubaidah tidak jauh berbeza dengan kebanyakan sahabat lainnya, diisi dengan perjuangan menegakkan Islam. Ketika Baginda Rasulullah mengizinkan umat Islam berhijrah ke Habsyah, beliau turut serta berhijrah ke sana bersama rombongan Muslim yang lain di saat gelombang kedua kekejaman musyrikin Quraish demi menyelamatkan aqidahnya.
Walaupun Abu Ubaidah menghadapi pelbagai dugaan di Makkah, namun boleh dikatakan dugaan paling mencabar yang dihadapinya adalah ketika perang Badar di mana dugaan ini benar-benar melampaui jangkaan dan khayalan. Ketika peperangan itu, Abu Ubaidah menyerang musuh-musuh dengan begitu hebat sekali dengan perwatakan pahlawan mencari syahid dan tidak takutkan mati. Semangat kepahlawanan beliau telah menggerunkan tentera Musyrikin sehingga mereka berwaspada dan cuba mengelak daripada bertempur dengan Abu Ubaidah.
Dalam pada jumlah tentera Quraish yang ramai itu, ada seorang sahaja yang benar-benar ingin bertempur dan mengekang semangat kepahlawanan Abu Ubaidah itu. Keadaan ini menyebabkan Abu Ubaidah cuba mengelak daripada bertempur dengan lelaki tersebut. Setiap serangan oleh lelaki itu, Abu Ubaidah mengelak dengan segera. Lelaki itu tidak berputus asa dan dia menyekat kemaraan Abu Ubaidah dengan menghunuskan pedang ke arah Abu Ubaidah sehingga tiada pilihan lain lagi untuk beliau mengelak. Dalam keadaan terpaksa, dia menetak lelaki tersebut dan membuatkan badan lelaki itu tersungkur ke bumi. Lelaki yang jatuh menyembah bumi itu adalah ‘Abdullah bin al-Jarrah, ayah kepada Abu Ubaidah.