À l’arrivée des premiers commerçants de fourrures, les Algonquins s’étaient déjà installés sur l’île et contrôlaient les passages de la rivière. C’est pourquoi, lors de son expédition en 1613, Samuel de Champlain donna à cette entité insulaire le nom d’Île des Algonquins. Les Iroquois vinrent exterminer la tribu des Algonquins vers 1650. Tessouat, riche des droits perçus, d’un commerce abondant, tomba dans une embuscade des Iroquois à son retour de Québec. Une bataille a lieu sur la rive de l’île entre les rapides Paquette et Allumette. Après l’anéantissement des Algonquins, l’île est retournée à l’état sauvage pendant quelque 170 ans.
En 1836, les pères de Bellefeuille et Dupuis rapportent à Mgr Bourget, évêque de Montréal, que L’Isle-aux-Allumettes commence à être habitée, mais qu’elle est encore à l’extrême limite de la colonisation. Ils font remarquer que soixante familles vivent sur l’île. Ils déclarent également qu’il faut s’organiser pour défendre les intérêts religieux des colons et des Indiens.
En 1839, le Père Moreau demanda à l’évêque d’accorder la permission d’ériger une chapelle sur l’île. Le père John Brady, assistant du père Moreau, trois laïcs et soixante-six familles exercèrent une pression supplémentaire sur l’évêque pour qu’il construise une chapelle à Church Point. L’église Saint-Alphonse de Liguori fut érigée canoniquement à Church Point en 1839. En 1849, il y avait 150 familles catholiques et 25 familles protestantes ; en 1861, il y avait 160 familles catholiques sur l’île.
Il y avait 5 familles françaises sur l’isle en 1856 : celles de Vincent Demers, J.B. Chartrand, Joseph Chaput, Fabien Allard et J.B. Vaillancourt.
Le canton original de l’île Allumette comprenait les municipalités actuelles de L’Isle-aux-Allumettes, Chichester et Sheenboro. En 1857, Chichester et Sheenboro ont formé leurs propres municipalités. Le village de Chapeau s’est séparé le 1er janvier 1874 et Allumette Island East le 20 mai 1920. Le 30 décembre 1998, les municipalités de Chapeau Village et d’Allumette Island East ont fusionné avec la municipalité originale du canton d’Allumette Island.
Les Irlandais catholiques vivaient à l’Isle-aux-Allumettes Est alors que les Français catholiques, recrutés par les entrepreneurs forestiers de la région de Québec, occupaient le centre et l’ouest de l’Isle.
Le recensement de 1871 nous apprend que la population de l’Isle-aux-Allumettes était de 1503 habitants. La répartition religieuse de celle-ci était la suivante: 1324 catholiques, 48 anglicans, 90 méthodistes wesleyen, 28 presbytériens, 10 protestants non-dénominés, 1 baptiste, 1 congrégationaliste et 1 non-déclaré. Cette même année, la population de Pembroke était de 1550, soit une différence de 47 personnes.
La municipalité de L’Isle-aux-Allumettes a été constituée en 1998 par le regroupement des villages de Chapeau, de St-Joseph, de Desjardinsville, de Demers Centre, de l’île Morrison et de L’Isle-aux-Allumettes Est.