Pria Semarang Jadi Raja Gula Dunia, Kejayaannya Runtuh Semalam