Ve starších textech se objevuje pro Wortnerův dům název Žižkův dům, k čemuž vedla zřejmě skutečnost, že Jan Žižka z Trocnova se v roce 1378 v ulici, tehdy Židovské, prokazatelně objevil. Figuruje na dlužním úpisu mezi dlužníky, když si jeho přátelé Jaroslav z Kropné a Jan z Mysletína, mohlo by se říci kumpáni, půjčili od židovek jménem Stane a Johue peníze. V listině ze dne 3. 4. 1378 je uveden jako Johannes dictus Zizka de Trucznow (tj. Jan řečený Žižka z Trocnova). Poněvadž se listina zachovala, lze usuzovat, že zmíněná trojice dluh nikdy neuhradila, to by se listina zničila. Žádný badatel však dosud nezjistil, že by Židovky Stane a Johue bydleli ve Wortnerově domě. Vlastně se neví, kde bydlely a do kterého domu tedy Jan Žižka skutečně vkročil.


Ulice U Černé věže se původně jmenovala Židovská. Posloupnost názvů ulice, počet je rekordem města, vyjadřuje s nadsázkou v mini formě dějiny města: Židovská, Svatomarkétská, Židovská, Mikulášská (jen pro úsek od náměstí k Hroznové), Sterneckova, Obchodní, UNRRA, Stalingradská, Volgogradská, Václava Kopeckého, Jana Valeriána Jirsíka, U Černé věže.


Původní Židovská zatáčela ještě podél hradby do dnešní Hradební ulice, kde za hradbami na parkánu blíže ke Kněžské byl židovský hřbitov. V roce 1341 udělil městu Jan Lucemburský právo usídlit ve městě dvě židovské rodiny, které může město po deseti letech zdanit a výtěžek použít na opravu městských hradeb. Karel IV. privilegiem z roku 1364 zvýšil počet židovských rodin na tři.


Židům byla určena v tom čase řídce zastavěná ulice od Hroznové směrem k hradbám a nazvána Židovská. Na přelomu 15. a 16. století vlastnili židé v ulici 13 domů. Karel Pletzer odhadoval podle studie dobových písemností, že v 15. století čítala židovská obec ve městě nejméně 100 členů.
Naproti Wortnerova domu měli židé synagogu. Podle Reinholda Huyera, který vycházel z městských knih ze 14. století, byly vedle synagogy dva domy v majetku židů a další dům naproti, což by mohl být Wortnerův dům. Tenkrát stály na místě dnešního Wortneráku dva gotické domky (sjednocené cimbuřím byly později). Že by v některém bydlely židovky Stane a Johue není však doloženo.


Židům nebylo povoleno provozovat řemesla. Živili se hlavně půjčováním peněz na dlužní úpisy nebo proti zástavám movitým i nemovitým. Obchodovali i s věcmi nejrůznějšího původu. U zastavených věcí, i kradených, nebyli židé povinni prozrazovat jméno toho, kdo jim věci přinesl. Nemuseli ani u kradených věcí vracet zástavu původnímu majiteli bez vyplacení. Z toho vznikly na konci 15. století potíže a nevraživost vůči židům. Až v roce 1501 vyšlo nařízení, že kradené věci musí při usvědčení žid vrátit majiteli bez náhrady. Pogrom na židy v roce 1505 vyvolala zpráva, že židé údajně zabili šestiletého chlapce k rituálním účelům. Výsledkem pogromu bylo podle Karla Pletzera, že 7 židů bylo upáleno na židovském hřbitově u Linecké brány, 13 židů bylo utopeno a ostatní dospělí židé, pokud již dříve neutekli, byli vyhnání z města brankou u Rabenštejnské věže. Židovské děti byly pokřtěny a dány do křesťanských rodin. Již v roce 1538 se mohli židé zúčastňovat trhů a později usazovat ve městě. Synagoga byla upravena na kapli sv. Markéty. Sloužila jen do roku 1566, poté kapli prodala městská rada nožíři Czoblovi jako hospodu.