První židovští usedlíci to ale v Olomouci neměli lehké. Podle tehdejších nařízení nesměli sousedit s křesťany, a tak si ve 12. století založili svou osadu a modlitebnu na místě dnešní Univerzitní ulice. Ve 13. století bylo spojením starších olomouckých osad založeno královské město Olomouc, na jehož výstavbě se podle patentu Rudolfa Habsburského měli podílet i Židé.

Židovští obyvatelé se tehdy zabývali převážně vetešnictvím a drobnými úvěrovými službami, zpravidla na větší úrok. Z let 1413-20 se zachoval latinsky psaný tzv. židovský registr čili kniha židovských zápůjček. Začátkem 15. století směli Židé jednou měsíčně chodit do městských lázní. Byla jim ovšem vymezena večerní doba, aby nepřekáželi křesťanům.

Za vlády Ladislava Pohrobka (snad na antisemitské výzvy františkánského mnicha Jana Kapistrána, 1385–1456) byli v roce 1454 Židé vypovězeni z Olomouce a také z většiny moravských královských měst. Jejich domy, synagoga a hřbitov propadly městu. Ze synagogy byla následně zřízena kaple Božího těla. Vypuzení Židé nalezli útočiště v okolních poddanských městech Prostějově, Přerově, Lipníku nad Bečvou a v několika dalších.

Ještě skoro čtyři sta let po té se Židé nesměli v Olomouci ukázat. Výjimkou byla jednorázová vpuštění na trh, za která navíc museli platit vysoké osobní poplatky (tzv. Leibmaut). Židé měli povoleno dočasně pobývat na některých olomouckých předměstích, především na předměstí v Bělidlech, kde od přelomu 18. a 19. století fungovala židovská jídelna a soukromá modlitebna.