De tidigaste pusslen var kartpussel. År 1762 skar den franska karthandlaren Dumas en komplett karta i många delar för människor att montera, och blev föregångaren till pusslet. År 1767 skapade den brittiske kartografen John Spearsbury den "anatomiska kartan" för undervisning i geografi, som anses vara världens första pussel i trä.
Tidiga pusselbitar hade släta kanter, vilket gjorde att det sammansatta pusslet lätt gick isär. Uppfinningen av "interlocking"-tekniken 1840 löste detta problem, dess förbättring inspirerad av tapp- och tappstrukturen i kinesisk arkitektur. På 1800-talet ändrades pusselmaterial från trä till plywood eller kartong, och stanstekniken ersatte handsågar; dessa innovationer drev massproduktionen av pussel.
Pussel förvandlades gradvis från en pedagogisk leksak till en form av vuxenunderhållning. Det har funnits flera pusseldille genom historien. Den första varade från 1907 till 1911, särskilt populär i nordöstra USA, och blev en form av underhållning bland överklassen. Den andra vågen av pusselpopularitet sammanföll med den stora depressionen på 1930-talet. Lägre produktionskostnader och antagandet av kartong gjorde pussel till en billig och populär form av underhållning, vilket ledde till en ökning av pusseltävlingar.
I Japan ökade medvetenheten om pussel avsevärt efter "Mona Lisa-utställningen" 1974 på Tokyos nationalmuseum, som ökade försäljningen av importerade pussel. 2008 ansökte Japan Jigsaw Puzzle Manufacturers Association om att få den 3 mars erkänd som "Jigsaw Puzzle Day". Japan har utvecklat en unik pusselkultur, där spelare ofta ramar in sina färdiga pussel som inredningsdekorationer.
Sedan 2000-talet har typerna av pussel fortsatt att expandera, och teman har blivit allt mer varierande. Pussel har kombinerats med museikulturella och kreativa produkter och populära IP-adresser, vilket resulterat i nya former som 3D-pussel, glöd-i-pussel och digitala pussel.
