La du memorŝtonoj memorigas pri la frua ĉeesto de Esperanto en la nuna Esperanto-urbo. Laŭ malnova gazetanonco jam en 1910 funkciis Esperanto-informejo en la ĉefstrato de Herzberg, kie en la iama presejo de Alfred Preiss kaj la najbara apoteko Baitz eblis informiĝi pri la internacia lingvo. La alia memorŝtono estas enkonstruita en la pavimo antaŭ la iama loĝdomo de la fama Esperanto-fervojisto, Joachim Gießner, kiu de la fino de la 1960-aj jaroj vivis en Herzberg, estis estro de la stacidomo kaj fondis Esperanto-Gesellschaft Südharz en 1976.