L’idée du concile et, plus tard, de le convoquer, attirera au pape Jean XXIII une pluie de critiques, y compris venant d’éminents cardinaux de la curie romaine. Beaucoup ont objecté son âge avancé, d’autres son audace à se risquer dans un concile de cette envergure et complexité. Il raisonnera, sans les convaincre, ces « prophètes de malheurs ». Puis, un jour, entouré de ceux-ci et lassé de tant d’argumentations inutiles, il descend de son trône et d’une main décidée, ouvre grand la fenêtre, s’exclamant entre jubilation et indignation : « Voici ma réponse à propos du concile : “De l’air frais !” (de l’air frais pour l’Église) ».
La préparation du concile dure trois ans. Elle débute l’année suivant son élection, en 1959. Le pape Jean est enthousiasmé par l’idée. Études, enquêtes, consultations et, surtout, prière, beaucoup de prière pour son succès dans toute la chrétienté. Son secrétaire d'État, le cardinal Tardini, étonné de l’impressionnante préparation et des sujets à traiter, lui dit un jour : « Sainteté, avec tout ce bagage d’affaires à traiter, je crois que le concile ne pourra pas être inauguré en 1963, comme nous avions prévu ». Le pape Jean, très tranquille et toujours confiant en Dieu plutôt qu’en les hommes, lui répond avec sérénité : « Eh bien, Éminence, si on ne peut pas ouvrir en 1963, nous l’ouvrirons avant, en 1962 ». Silence du cardinal Tardini devant ce manque de logique du Pape. Et il en a été ainsi : le concile s’est ouvert le 11 octobre 1962.
À la fin de la première session du Concile, s’entretenant avec un évêque français sur le discours d’ouverture, Jean XXIII lui confie: « La vérité est que, dans le discours d’ouverture que j’ai adressé aux évêques au début du concile, je n’avais pas vu autant de choses qu’ont trouvé les évêques, par la suite, en l’étudiant. Cependant, maintenant, quand je le relis, je les trouve aussi ». Et il terminera sa confidence par cette confession de foi profonde : "Cela se voit que l’Esprit saint est plus intelligent que nous tous".
Jean XXIII s’est employé, pendant le conseil et avant celui-ci, à améliorer les relations entre l'Église catholique et les autres Églises, accueillant le Primat anglican et les dirigeants de nombreuses autres confessions chrétiennes. Il crée un secrétariat pour l'unité des chrétiens, élevé, durant le Concile, au rang des autres commissions. Il publie neuf encycliques, dont la dernière, la plus célèbre, Pacem in Terris, est signée le Jeudi saint 1963. Celle-ci s’adresse aux évêques, au clergé et aux fidèles catholiques, mais aussi à tous les hommes de bonne volonté, et exprime sa très vive préoccupation pour la paix, toujours en lien avec la doctrine sociale de l’Église, déjà traitée dans l’encyclique Mater et Magistra de 1961.
Le pape Jean n’a pas voulu présider les sessions du concile pour laisser les évêques mener librement leurs travaux. Il disait aux évêques du Canada: « Est-ce que vous vous seriez sentis libres si j’étais là ? Auriez-vous applaudi le président quand il a coupé la parole au cardinal Ottaviani ? ». Les pères conciliaires ont ainsi creusé le mystère de l’Église, essayé de proposer un large exposé, profond, rigoureux et lumineux. Il les éclairait à distance. En audience accordée à des gens simples, il leur dit : "Qu’est-ce que l’Église? L’Église est comme une fontaine sur la place du village pour que pour tous ceux qui le veulent trouvent de l'eau fraîche."
L’Église voulue par le concile n’est pas une Église repliée sur elle-même, sur ses problèmes, son organisation, ses intérêts, ses règles. Mais c'est une Église qui dialogue avec le monde, avec la société et avec la culture de notre temps. Elle se présente ainsi: « Les joies et les espoirs, les tristesses et les angoisses des hommes de ce temps, des pauvres surtout et de tous ceux qui souffrent, sont aussi les joies et les espoirs, les tristesses et les angoisses des disciples du Christ, et il n’est rien de vraiment humain qui ne trouve écho dans leur cœur. Leur communauté, en effet, s’édifie avec des hommes, rassemblés dans le Christ, conduits par l’Esprit saint dans leur marche vers le Royaume du Père, et porteurs d’un message de salut qu’il faut proposer à tous. La communauté des chrétiens se reconnaît donc réellement et intimement solidaire du genre humain et de son histoire. » (GS 1).
L’Église est comme une fontaine sur la place du village pour que pour tous ceux qui le veulent trouvent de l'eau fraîche.
Là est la clé pour comprendre tout ce que le concile a voulu dire sur l’Église. Elle doit être, avant tout, la communauté d’êtres humains qui se sentent vraiment solidaires des joies et des tristesses de tous, en particulier de ceux qui ont une vie de misère.
Atteint d’une maladie douloureuse, le pape Jean XXIII vit doublement ses derniers mois de pontificat. Il est mort le 3 juin 1963, le lundi de Pentecôte. Il était fier d’avoir épousé Dame Pauvreté, comme le "Poverello" d’Assíse. Le 3 décembre 1961, il écrit à son frère Saverio une longue lettre comme chef de la famille Roncalli, qu’il termine ainsi : « C’est et ce sera un des plus beaux titres du pape Jean et de la famille Roncalli. À ma mort, on pourra me faire le même éloge qui a tant honoré saint Pie X : “Il est né pauvre, il est mort pauvre”". À sa mort, il ne possède que 200 000 lires (environ 120 euros), qui lui paraissaient déjà beaucoup. Il demanda à son fidèle secrétaire, don Loris Capovilla, une dernière faveur : « Rends-les, don Loris, je veux mourir pauvre comme je suis né ».