À l’arrivée des premiers commerçants de fourrures, les Algonquins étaient déjà installés sur l’île et contrôlaient les passages sur la rivière. Pour cette raison, lors de son expédition en 1613, Samuel de Champlain nomma cette entité insulaire d’Isle des Algonquins. Puis en 1650, lors d’une attaque surprise des Iroquois, les Algonquins furent pratiquement éliminés de l’île. Après l’anéantissement des Algonquins, l’île fût inhabitée pendant presque 170 ans.
En 1836, les pères de Bellefeuille et Dupuis déclaraient, dans leurs rapports à Mgr Bourget de Montréal, que l’Isle commençait à être habitée, mais qu’elle était encore à l’extrémité des territoires colonisés. Leurs rapports indiquaient que 60 familles vivaient sur l’Isle et qu’un effort d’organisation devrait être déployé pour le bien-être spirituel des colons aussi bien que des Indiens.
En 1839, le père Moreau demanda à l’évêque la permission de construire une chapelle sur l’Isle. L’église de St-Alphonse-de-Liguori fut érigée à Church Point en 1839. En 1849, on dénombrait 150 familles catholiques et 25 familles protestantes sur l’île.
Les Irlandais catholiques vivaient à l’Isle-aux-Allumettes Est alors que les Français catholiques, recrutés par les entrepreneurs forestiers de la région de Québec, occupaient le centre et l’ouest de l’Isle.
Il y avait 5 familles françaises sur l’isle en 1856 : celles de Vincent Demers, J.B. Chartrand, Joseph Chaput, Fabien Allard et J.B. Vaillancourt.
Le recensement de 1871 nous apprend que la population de l’Isle-aux-Allumettes était de 1503 habitants. La répartition religieuse de celle-ci était la suivante: 1324 catholiques, 48 anglicans, 90 méthodistes wesleyen, 28 presbytériens, 10 protestants non-dénominés, 1 baptiste, 1 congrégationaliste et 1 non-déclaré. Cette même année, la population de Pembroke était de 1550, soit une différence de 47 personnes.
La municipalité de L’Isle-aux-Allumettes a été constituée en 1998 par le regroupement des villages de Chapeau, de St-Joseph, de Desjardinsville, de Demers Centre, de l’île Morrison et de L’Isle-aux-Allumettes Est.