Кёнигсбергская торговая биржа была построена в 1875 году после проведения всегерманского конкурса. Автор ― архитектор Генрих Мюллер.
Поскольку место, на котором расположилось здание, отличалось мягкой болотистой почвой, фундамент здания стоит на 2202 лиственничных сваях, доставленных из Сибири. Сама биржа выполнена из песчаника в стиле неоренессанса.
Биржа открывалась в 11:30 по звону колокольчика. В 13:00 снова звонили в колокольчик, и торги заканчивались. До появления в 1911 году Городского зала в здании биржи также проходили музыкальные и театральные вечера. Во время Второй мировой войны в Большом зале (где сейчас фойе музея) находился вещевой склад, а также хранилище географических карт. В 1944 году зал был разрушен в результате бомбардировок Кёнигсберга британской авиацией.
Центральную лестницу, ведущую к зданию, охраняют скульптуры двух львов-щитодержателей авторства Эмиля Хундризера. Один из «геральдических» львов, высеченных из песчаника, держал лапой герб корпорации купечества Кёнигсберга, второй ― гербовые изображения трёх городов (Альтштадта, Кнайпхофа и Лёбенихта), объединённых в 1724 году в Кёнигсберг.
Раньше по углам крыши были расставлены фигуры, ориентированные по четырём сторонам света. Они символизировали торговые связи Кёнигсберга с Европой, Азией, Африкой и Америкой. Центром каждой композиции являлась большая женская фигура, подле которой в полусидячем положении были расположены две другие. Полуразрушенные фигуры были демонтированы при реставрации здания в конце 1960-х годов.
В послевоенное время здание биржи находилось в руинированном состоянии и использовалось в качестве съёмочной площадки для советских военных фильмов. Впечатляющие развалины не раз появлялись на экране. Например, в фильмах «Судьба человека», «Мир входящему», «Отец солдата», «Женя, Женечка и „катюша”». Накануне нового 1973 года в здании открылся Дворец культуры моряков. Впоследствии в здании располагался литературный театр и областной детско-юношеский центр, а в 2018 году открылся Музей изобразительных искусств.