Det tillkännagav landets vice president, Samia Sulhu Hassan, på landets statliga tv-kanaler under onsdagskvällen.
Enligt vice presidenten dog Magufuli av hjärtkomplikationer.
Magufuli, som flera gånger förnekat att coronavirusets ens existerar i Tanzania, har inte synts till på två veckor. Detta föranledde rykten om hans hälsotillstånd.
Anledningen bakom Magufulis död är däremot oklart. Högt uppsatta politiker har nyligen dött av vad som beskrivs som lunginflammation och andningsproblem. Fyra personer har sedan dess gripits misstänkta för att ha “spridit rykten om politikers hälsa”.