Židovská komunita v Bagdádu vznikla v polovině 8. století a v 9.-11. století byla sídlem exilarchy (tj. vůdce židovské komunity). V této době žili Židé ve zvláštní čtvrti (dar al-jahud) a se zbytkem města je spojoval „židovský most“. Na konci 9. století byly v Bagdádu založeny ješivy (židovské školy) Sura a Pumbedita.

V 10. století žily v Bagdádu dvě významné židovské rodiny, Netira a Aaron. Na konci 10. století byl vedoucím předákem ješivy Izák b. Mojžíš ibn Sakri ze Španělska. Bagdádská komunita dosáhla vrcholu svého rozkvětu za působení představeným ješivy Samuela b. Aliho ha-Leviho, Maimonidova odpůrce, který pozvedl studium Tóry v Bagdádu na vysokou úroveň. Eleazar b. Jákob ha-Bavli a Izák b. Izrael byli představení ješiv koncem 12. století až do poloviny 13. století.

Ve 12. století dosáhla komunita svého vrcholu a Benjamin z Tudely uvádí, že čítala přibližně 40 000 Židů, 28 synagog a 10 ješiv. Židé byli aktivní v oblasti lékařství, farmacie, tavení zlata a obchodu. Za mongolské nadvlády (1258-1335) byl lékař Sa’ad al-Dawla jmenován ředitelem finanční správy Iráku a vrchním vezírem mongolské říše. Po sultánově smrti v roce 1291 byl popraven pod záminkou, že sultánovi neposkytl náležitou lékařskou péči.

Poté, co dobyvatelé na počátku 14. století změnili své náboženství na islám, obnovili všechna nařízení a vysoké daně, které se vztahovaly na všechny „nevěřící“. Po dobytí Bagdádu Tamerlánem (1393) mnoho Židů uprchlo do Kurdistánu a Sýrie a Bagdád zůstal až do konce 15. století téměř bez Židů.

Na začátku osmanské okupace Iráku (1534-1623) se situace Židů v Bagdádu zlepšila. Ve městě bylo 250 židovských domů z celkového počtu 25 000 domů. V letech 1623-38 byl Bagdád pod perskou nadvládou a Židům se velmi ulevilo, když Bagdád znovu dobyl sultán Murad IV. Den dobytí Tevet 16 5399 (23.12.1638) byl stanoven jako „jom nes“ (“Den zázraku“).

Avšak ve druhé polovině 18. století až do začátku 19. století turecká nadvláda výrazně zhoršila podmínky pro všechny nemuslimy zejména pro Židy a křesťany. Mnoho bohatých členů komunity uprchlo do Persie a dalších zemí, mezi nimi i David B. Sassoon, který přesunul své podnikání do Indie. V té době žilo v Bagdádu 6 000 židovských rodin. Po otevření Suezského průplavu (1869) se situace 20 000 Židů ve městě opět zlepšila - spolu s celkovou hospodářskou situací - a usadilo se zde mnoho Židů z jiných lokalit. V roce 1884 žilo v Bagdádu 30 000 Židů a na počátku 20. století již 50 000 Židů z celkového počtu 160 000 obyvatel. V říjnu 1921 žilo v Bagdádu 202 200 lidí, z nichž: 80 000 byli Židé, 12 000 křesťané, 8 000 Kurdové, 800 Peršané, a 101 400 Arabové, Turci a dalších muslimové.

K nejproslulejším bagdádským rabínům patřili Abdallah Somekh (1813-1889), který byl hlavou ješivy Beit Zilkha a Josef Hajim ben Eliahu Mazal-Tov (1834-1909) proslulý v židovském světě, zejména mezi komunitami ve Svaté zemi, Anglii, Indii, Singapuru, Manile atd.

Až do roku 1849 vedl bagdádskou komunitu předseda „nassi“, kterého jmenoval guvernér vilajetu (provincie) a který zároveň působil jako jeho bankéř. Nejznámějšími představiteli byli Sassoon b. Tzalach a Ezra b. Joseph Gabbai.

První hebrejskou tiskárnu v Bagdádu založil v roce 1863 Moses Baruch Mizrachi. Dalšími tiskaři byli Ezra Ruben Dangoor a Elíša Šochet. V roce 1920 vyšel hebrejský týdeník Ješurun, jehož vyšlo pouze pět čísel. Byl to poslední pokus o hebrejskou žurnalistiku v Bagdádu.

Až do britské okupace za první světové války trpěli Židé vydíráním a krutostí místních úřadů. Mnoho mladých židovských mužů bylo násilně naverbováno do vojenské služby, aby sloužili v kavkazských horách, kde panovaly velmi nebezpečné podmínky. Vstupem Britů do Bagdádu 3. února 1917 začalo pro bagdádské Židy období svobody a mnoho z nich bylo zaměstnáno ve státní správě. Po osamostatnění státu v roce 1929 došlo k nárůstu antisemitismu, zejména po příchodu německého velvyslance A. Grobbeho do Bagdádu (1932). Židovští úředníci byli propouštěni a roku 1936 byli Židé vražděni a jejich instituce srovnány se zemí. V průběhu pronacistické revoluce, kterou vedl Rašíd Alí al-Kilání, došlo ve dnech 1.-2. června 1941 k brutálnímu pogromu proti Židům za pasivní podpory armády i policie. Arabové během těchto násilností zabili 120-180 Židů a více než 1000 zranili. Tisíce Židů opustily město a vrátily, až když se dozvěděly, že se situace zklidnila.

Po skončení druhé světové války docházelo k častým demonstracím proti Židům a zejména proti sionismu a po vyhlášeném rozdělení Palestiny v roce 1947 byli Židé v ohrožení života. Mnozí z nich byli odsouzeni k tvrdým soudním trestům a museli platit vysoké pokuty. Počet Židů v Bagdádu se snížil ze 100 000 na 77 000 a po jejich hromadném exodu do Izraele, kdy Izrael zorganizoval záchrannou akci pojmenovanou „Operace Ezdráš a Nehemjáš“ zůstalo ve městě jen asi 5 000 Židů. V roce 1968 zbývalo už jen 2 000 Židů. Po vzniku Izraele byly stovky mladých Židů zatčeny na základě obvinění ze sionistické činnosti a dva sionističtí vůdci byli v Bagdádu veřejně oběšeni. Dne 27. ledna 1969 bylo na základě obvinění ze špionáže pro Izrael oběšeno dalších devět Židů.

Až do operace „Ezdráš a Nehemjáš“ existovalo v Bagdádu 28 židovských vzdělávacích institucí, z nichž 16 spadalo pod dohled komunitního výboru a ostatní byly soukromé. Počet žáků dosahoval 12 000 a mnoho dalších se učilo v zahraničních a státních školách. Asi 400 studentů studovalo medicínu, právo, ekonomii, farmacii a inženýrství. Roku 1951 byla židovská škola pro nevidomé uzavřena; byla to jediná škola tohoto typu v Bagdádu. Bagdádští Židé měli dvě nemocnice, v nichž se zdarma léčili chudí, a několik dobročinných služeb. Ze 60 synagog v roce 1950 jich v roce 1960 zůstalo jen 7.

V posledních desetiletích 20. století směli Židé v Iráku žít pouze ve dvou městech - Bagdádu a Basře. Celkem jich bylo asi 500. Během první války v Perském zálivu, na počátku 90. let 20. století, žila v Bagdádu malá židovská komunita čítající asi 150 osob. Jediná bagdádská synagoga stála v centru města, obehnaná zdí.

Poslední Židé v Bagdádu opustili město po invazi americké armády do Iráku během druhé války v Perském zálivu v roce 2003.