Около 1350 года к востоку от замка Нойхаузен была построена кирха, великолепно сохранившаяся до наших дней. Она построена из булыжного камня с обкладкой углов здания, оконных и дверных проемов кирпичом в стиле северогерманской готики. Внутренняя отделка кирхи первоначально включала роспись сводов и стен в виде фресок и других элементов декора. Так внутренние помещения кирхи и ее деревянные цилиндрические своды были расписаны в XVI-XVII-м веках: на стенах исполнены фрески, изображающие большие фигуры святых и их деяния по библейским сюжетам. Потом картины закрасили и заштукатурили. Но до нас дошло имя руководящего художественным оформлением мастера: Исаак Рига. В 30-40-х годах XX века фрески кое-где вскрывали, а в 1945 году кирха была частично разрушена. Восстанавливали ее на скорую руку, и какое-то время она служила солдатским клубом. Потом долго стояла заброшенной. В 1993 году после реставрации стала церковью ново-апостольской общины. К сожалению, ремонт был проведен спешно, исказив древнюю постройку, так как при этом не была изучена история создания церкви, не проведено исследование того, что скрывается под слоем старой штукатурки, не сделаны архитектурно-археологические обмеры.
На небольшой реке Гурьевке в прошлом была построена водяная мельница. Эта мельница была приспособлена для получения электроэнергии, обеспечивая в основном мукомольные и деревообрабатывающие производства. Когда же мельница развалилась, то оставшееся строение было приспособлено под трактир « Айхенкруг», ставший весьма модным питейным заведением. 19 сентября 1714 года эту пивную удостоил посещением сам прусский король Фридрих Вильгельм I, оставивший в книге почетных посетителей лаконичную запись: «Виват, Пруссия!»
Предвоенные путеводители утверждают, что трактир, несмотря на древность, прекрасно сохранился, но куда он сейчас подевался – ума не приложим. Скорее всего, он разрушен до основания, о чем свидетельствуют камни и битые кирпичи возле запруды Мельничного ручья (Гурьевки)
В 1890 году сооружается так называемая малая железная дорога. Эта узкоколейка начиналась в Кёнигсберге у Королевских ворот, затем линия направлялась к Нойхаузену, а от него дальше к Шаакену (ныне п. Некрасово) и к заливу. Эта романтическая дорога пользовалась большой популярностью. В летние дни многие кёнигсбержцы любили прокатиться на маленьком поезде до Нойхаузена, погулять по прекрасному парку, выпить кружку пива в знаменитом трактире «Айхенкруг», позагорать на берегу кристально чистого озера.
На территории Гурьевского лесопарка в XVII веке находился зоопарк (Neuhausen Tiergarten), там животные разгуливали совершенно свободно и представляли идеальную мишень для охотников.