Одним из значимых зданий в нашем городе, представляющим архитектуру XX века, может считаться сиротский приют при синагоге, возведённый в 1904 году. Он построен на пожертвования еврейской общины, включая крупное пожертвование Генриетты Беккер, вдовы янтарного магната Морица Беккера.
Автор проекта — уроженец Кёнигсберга, впоследствии известный берлинский архитектор Фриц Беренд. Он происходил из известной еврейской семьи — его дед Иосиф Беренд был членом Хевра Кадиша, погребального братства богоугодно-благотворительного характера. В своем описании строительства архитектор подробно объяснял, что он не хотел опираться на формы здания-соседа и лишь использовал корпус синагоги для возведения смежного П-образного комплекса приюта. Корпус здания выглядел свободно сгруппированным, и его называли очень живописным. Руководил строительством приюта Фридрих Хайтманн. Еврейские сироты жили здесь вплоть до погромов 1938 года.
На южной стене здания установлена памятная доска жертвам Холокоста. Надпись на ней гласит: «Памяти евреев, погибших от рук нацистов в годы Холокоста».