Alternance de répressions et de tolérance relative

Le départ des Fatimides pour l'Égypte en 972 entraîne la prise du pouvoir par leurs vassaux zirides qui finissent par rompre leurs liens de soumission au milieu du XIe siècle. Les tribus des Hilaliens et des Banu Sulaym, envoyées en représailles sur la Tunisie par les Fatimides, prennent Kairouan en 1057 et la livrent au pillage, ce qui a pour effet de la plonger dans le marasme et de la vider de sa population, aussi bien musulmane que juive. Ces événements, outre le fait qu'ils renversent le flux migratoire des populations juives en direction du Levant, poussent surtout les familles juives kairouanaises à migrer vers les villes côtières de Gabès, Sfax, Mahdia, Sousse et de Tunis, qui voit sa communauté locale s'accroître rapidement. La tradition orale veut que les Juifs étrangers à cette dernière ville devaient passer la nuit à l'extérieur de ses murs, notamment dans le village de Mellassine, et ce serait le juriste Sidi Mahrez qui leur aurait obtenu le droit de s'installer dans un quartier spécifique à l'intérieur des fortifications, la Hara, qui constitue le ghetto de Tunis jusqu'au XIXe siècle. Toutefois, il est difficile de comprendre pourquoi Tunis aurait été la seule ville du territoire à être interdite aux Juifs même si cela a pu être le cas durant la période suivante.
L'arrivée au pouvoir de la dynastie des Almohades se révèle désastreuse, aussi bien pour les communautés juives de Tunisie que pour beaucoup de musulmans attachés au culte des saints, que les nouveaux souverains qualifient d'hérésie. En application de leur doctrine religieuse rigoriste, les Juifs sont contraints par Abd al-Mumin de choisir entre l'apostasie, la fuite ou la mort. De nombreux massacres ont lieu, malgré les nombreuses conversions formelles par la prononciation de la chahada, et beaucoup de Juifs, tout en professant extérieurement l'islam, restent fidèles à leur religion qu'ils observent en secret, comme le préconise alors Moïse Maïmonide. Suite à ces répressions, le judaïsme ouvertement affiché disparaît du Maghreb dès 1165 et ne réapparaît que timidement aux alentours de 1230, et ce, malgré les adhésions sincères à l'islam, les craintes de persécutions et la relativisation de toute appartenance religieuse. Cet épisode a un impact significatif sur les évolutions postérieures de la situation des Juifs de Tunisie : désormais seuls dhimmis après la disparition du christianisme au Maghreb vers 1150, leurs modes de pensée se sont quelque peu islamisés après plusieurs décennies passées à cacher leur pratique religieuse et à s'isoler de leurs coreligionnaires du reste du bassin méditerranéen, ce que dénonce Maïmonide dans une lettre.
Sous le règne de la dynastie des Hafsides, qui s'émancipe des Almohades en 1236, héritière de ces derniers dont elle finit par répudier la doctrine religieuse, les Juifs retrouvent leur statut traditionnel de dhimmis et reconstituent les communautés qui existaient avant la période almohade : ils subissent des discriminations vestimentaires comme le port de la rouelle et une oppression quotidienne. Ils ne sont toutefois plus victimes de persécution systématique, ni d'entraves à leurs activités professionnelles ou à leur culte. À cette époque, ils exercent, en plus de leurs métiers traditionnels, de nouveaux métiers dans le commerce et l'artisanat, notamment ceux de menuisier, forgeron, ciseleur ou savonnier ; certains travaillent aussi au service du pouvoir dans la frappe de la monnaie, la perception des droits de douane ou la traduction. Pourtant, le difficile contexte économique et culturel, entraînant une poussée du rigorisme et de l'intolérance, et le triomphe du sunnisme malékite peu tolérant à l'égard des « gens du livre » conduisent à une misère matérielle et spirituelle des communautés ; l'âge d'or kairouanais en matière de production intellectuelle n'est plus qu'un lointain souvenir et le fait que les savants judéo-espagnols fuyant la Castille en 1391 puis en 1492 s'installent massivement en Algérie et au Maroc, et moins en Tunisie, contribue encore à l'absence de renouveau des études religieuses et conduit les Juifs tunisiens à devoir consulter des savants algérois comme Shimon ben Tsemah Duran.
Au XVe siècle, chaque communauté est autonome — reconnue par le pouvoir à partir du moment où elle compte au moins dix hommes majeurs — et dispose de ses institutions particulières ; leurs affaires sont réglées par un chef (zaken ha-yehûdim) nommé par le pouvoir et assisté par un conseil de notables (gedolei ha-qahal) formé par les chefs de famille les plus instruits et les plus fortunés. Ce dernier a notamment pour fonction d'administrer la justice et de collecter les taxes imputées aux Juifs : la classique jizya à laquelle s'ajoutent parfois des contributions aussi extraordinaires qu'arbitraires.