Leur père, Pierre est papetier,  comme son père et son grand-père. Le moulin est installé à Vidalon-lès-Annonay, petit bourg de l'Ardèche. La papeterie a une réputation européenne. 
Joseph est né le 26 août 1740 à Vidalon-lès-Annonay. C'est le douzième enfant de Pierre. Son père lui confie, avec sa sœur Mariane et son frère Augustin-Maurice, la nouvelle usine de Vidalon-le-bas. Étienne est né le 6 janvier 1745 également à Vidalon-lès-Annonay, c'est le quinzième. Mais en 1772, le frère aîné des Montgolfier, Raymond, décède et son père le rappelle au pays pour prendre en charge la papeterie.
    En 1777, Étienne met au point le premier papier vélin français. En 1780, Joseph s'installe à Avignon qui à cette époque ne fait pas partie de la France, mais dépend du Pape. De nombreuses imprimeries y sont installées pour éviter la censure française. La papeterie compte à cette époque à peu près trois cents ouvriers, ce qui est un effectif important et les affaires marchent bien.
    En novembre 1782, alors que celui-ci est à Avignon, il fait une première expérience avec une chemise fermée qu'il regarde monter dans la cheminée, puis avec un « cube » de taffetas de soie d'un mètre cube environ qu'il parvint à faire monter au plafond de son logement, la Maison aux Ballons, n° 18 de la rue Saint-Étienne.De plus, les frères Montgolfier donnèrent une des premières séances d'aérostation dans la cour d'honneur de l'Hôtel particulier des Villeneuve-Martignan, l'actuel Musée Calvet d'Avignon.
    En décembre, les deux frères sont réunis à Annonay, et la même expérience est refaite : une enveloppe cubique d'un mètre cube gonflée par un feu de laine et de paille mouillée s'envole à une trentaine de mètres d'altitude. Le feu produisait une épaisse fumée, car ils pensaient, par analogie aux nuages, que la fumée était la responsable de l'élévation. Le 14 décembre 1782, ils gonflent avec de l'air chaud une sphère de 3 m_ qui parvient à s'envoler elle aussi. Ils décident donc de faire un ballon plus gros, d'une douzaine de mètres de diamètre. Ils utilisent de la toile en coton qu'ils doublent avec des feuilles de papier mince, découpée en fuseaux assemblés ensuite entre eux. Le poids du ballon était de 225 kg pour 800 m_. Le ballon est prêt en avril 1783 et quelques essais captifs sont réalisés. Le 25, le ballon est lâché et monte à une hauteur estimée de 400 mètres.
    Le 4 juin 1783, c'est avec ce ballon qu'ils font une démonstration aux États particuliers du Vivarais. Il se serait élevé ce jour-là à 1 000 mètres et se posa 10 minutes après l'envol à 2 kilomètres. Les députés firent un rapport pour l'Académie des Sciences de Paris. Les deux frères songent à se faire connaître à Versailles pour obtenir du financement.

Les expériences à Paris

    La nouvelle de l'expérience du 4 juin est très vite arrivée à Paris. L'Académie  des sciences forma une commission pour réaliser une démonstration à Paris en participant aux frais. Joseph et Étienne décident de construire pour cette expérience un nouveau ballon d'une plus grande taille, 1 000 m3 environ et 450 kg. Le textile de base de l'enveloppe fut encore de la toile de coton encollée sur ses deux faces avec du papier. Il est formé de 24 fuseaux, ce qui lui donne une allure biconique assez allongée de 24 mètres de haut. Il faut deux mois pour assembler le ballon cousu à la main.
    Le premier essai captif a lieu le 11 septembre 1783 dans le parc de l'usine Reveillon. La Commission académique vint assister le lendemain à une deuxième expérience toujours avec le ballon captif. L'enveloppe détrempée à cause de la pluie de la veille se déchire. La commission ne considère pas que c'est un échec et fixe la démonstration devant le roi au 19 septembre, soit une semaine après. Le ballon n'est malheureusement pas réutilisable. Un nouveau ballon est reconstruit en 5 jours. Et celui-ci fait 1.400 m3, il est néanmoins moins haut, 19 m, moins lourd, 400 kg et un peu plus sphérique. Il est essayé en vol captif le 18. Il est nommé Le Reveillon.
    Le 19 septembre 1783, c'est donc à Versailles, devant Louis XVI qu'a lieu la démonstration avec un mouton, un canard et un coq comme passagers. Ils furent enfermés dans un panier rond en osier accroché par une corde au ballon. Une fois lâché, celui-ci monta à une hauteur estimée de 500 mètres. Handicapé par une déchirure causée au départ, le ballon vole huit minutes et parcourt trois kilomètres cinq cents. À l'atterrissage, Jean-François Pilâtre de Rozier est accouru. Les animaux sont vivants et bien
portants. Le mouton finit ses jours à la Ménagerie royale en guise de récompense. L'expérience est un succès : il est donc possible d'emporter une charge importante et on peut survivre au séjour en altitude.

Le premier vol d'un être humain :

    Inspiré du ballon précédent, l'aérostat a une forme ovoïde, 13 mètres de diamètre, 21 mètres de haut pour un volume de 2 200 m3 et une masse de 500 kg. Il fut également décoré du chiffre du roi sur fond bleu, plus des signes du zodiaque, des fleurs de lys, etc. Les essais captifs se font dans les jardins de M. de Réveillon, ce qui fait que la machine est nommée « Le Réveillon ». Étienne ne vola pas dans la montgolfière à cause des interdictions de son père.
    Jean-François Pilâtre de Rozier fut choisi pour les essais suivants (montée à 26 mètres, durée 4 minutes et 25 secondes). La méthode de chauffage change, la paille sèche est utilisée qui produit moins de fumée mais est plus efficace.
Le 19 octobre 1783 a lieu le premier vol habité à la Folie Titon, manufacture royale des papiers peints, dans l'actuelle rue de Montreuil à Paris, faubourg Saint-Antoine. Le premier vol s'élève à 81 m, avec Pilâtre seul, et le deuxième à 105 m, avec deux passagers : Pilâtre et Giroud de Villette (durée 9 min). Ces deux vols eurent lieu en captif. Il faut un équipier : après l'essai d'André Giroud de Villette, c'est François Laurent Marquis d'Arlandes qui sera choisi.
    Tout est prêt, mais il manque l'autorisation du Roi. Il préfèrerait proposer la vie à deux condamnés à mort volontaires pour l'expérience, mais finalement se laisse fléchir. Le vol avec humains a lieu le 21 novembre 1783, avec Jean-François Pilâtre de Rozier et le Marquis d'Arlandes. Le « lâcher tout » est donné du château de la Muette à Paris, à la lisière du Bois de Boulogne. Le ballon qui pèse dans les 850 kg s'élève sans problème. Il file vers Paris, et c'est au-dessus des Tuileries qu'ils atteignent leur altitude maximale : 1 000 mètres. Puis ils commencent à perdre de l'altitude en quittant Paris par la barrière d'Italie. Ils atterrirent sur la Butte aux Cailles, aujourd'hui place Verlaine, dans le XIIIe arrondissement. La distance parcourue fut de neuf kilomètres, en vingt-cinq minutes. Le feu fut alimenté uniquement par le marquis, guidé par Pilâtre qui avait cassé sa fourche. Le 10 décembre 1783, Joseph et Étienne furent nommés membres correspondants de l'Académie des Sciences à titre exceptionnel. Le père Pierre reçut des titres de noblesse et sa papeterie devint Manufacture royale, le 15 avril 1784. Les deux frères eurent donc le titre de chevalier, leur devise étant sic itur ad astra, « nous irons ainsi jusqu'aux astres ».

La fin de l'histoire :

    Étienne revient à Annonay au printemps 1784 pour s'occuper de la papeterie qui, négligée pendant tout ce temps, se porte assez mal.
Étienne est nommé Membre associé à l'Académie des sciences en juin 1796. Il continue à s'intéresser aux ballons et fait construire une montgolfière par Réveillon à des fins scientifiques, elle est d'ailleurs utilisée par Jean-François Pilâtre de Rozier, le 23 juin 1784, où elle bat un record d'altitude mais ne peut être récupérée.
Étienne et Joseph, plus leur frère Alexandre, essayent de 178( à 1787 d'obtenir des fonds pour construire un ballon qu'ils veulent diriger. Mais le projet s'enlise.
Réformateurs, ils ne sont pas inquiétés durant la Révolution française. Mais ils n'obtiennent pas des différents gouvernements qui se succèdent alors des moyens pour développer leur invention. Joseph reçoit la Légion d'honneur de Napoléon Bonaparte, qui le nomme administrateur du Conservatoire national des arts et métiers. Il est reçu à l'Académie des sciences en 1807. Étienne meurt à Serrières, en Ardèche, le 2 août 1799. Joseph s'installe alors à Paris, et meurt à Balaruc-les-Bains, lors d'une cure, le 28 juin 1810.

Un des descendants directs de Pierre de MONTGOLFIER a eu 15 enfants, dont les deux inventeurs de la montgolfière Joseph et Etienne, eux-mêmes sans aucune descendance.
 
Une tradition, dans la famille MONTGOLFIER, veut que les jeunes mariés s'envolent, le jour de leur mariage, dans une montgolfière. C'est ainsi qu'une "cousine" a respecté la tradition en 2010 dans la nacelle d'une montgolfière lors de son mariage avec un descedant de Jean LANQUETIN dit "Tailleur" né vers 1648 aux Longevilles...