De Jezuïetenberg, van hobby naar attractie