Bytårnet var en gave fra Moss bystyre til Moss by i anledning 200-årsdagen 10. august 1920. Det ble valgt som en ekstra gave til byen fordi andre byer som Tønsberg, Paris og Piza hadde sine tårn, og i Fredrikstad og i Halden hadde de sine festninger. Derfor skulle også Moss ha sitt tårn - om enn bare til forlystelse. Direktør Helly J. Hansen jr. var på den tiden byens ordfører samtidig som han ledet regntøyfabrikken, og han satset på bred støtte fra sitt parti. Men det var ikke så lett, kun Høyre støttet forslaget inntil julen 1919. Da gikk også Arbeiderpartiet med lå forslaget. Dette bevirket at en del Høyre-representanter fikk kalde føtter og stemte imot. Men det var nok Ja-stemmer til å sette i gang, og i løpet av tiden frem til 10. august ble tårnet reist av stein fra fjellet det sto på. Fjellveien gode den gang en liten sving utenom fjellet, men ble nå rettet ut. Siden har interessen for tårnet vært varierende, men fikk en skikkelig oppsving i 1937, da direktør Helly J. Hansen nok en gang tok grep og arrangerte som formann i Moss Handelsstands forening Mosseutstillingen som bestod av både på Skarmyra og rundt Bytårnet med bro i mellom over Fritjof Nansens gate. Kjempesuksess med 300.000 besøkende i løpet av åpningstiden fra juni til september. Se bildene fra utstillingen inne i tårnet - og Moss ovenfra i alle retninger. I årene 2008/2009 ble Bytårnet totalrenovert og påmontert nytt lysanlegg, og det ble organisert vakthold så tårnet kunne være åpent for besøkende hele sommerhalvåret.