Den 18-årige mittfältaren sköt med vänstern och hittade nätet. Hemmalaget firade vilt på Örjans Vall.
Matchen såg ut att sluta mållös. Kalmar skapade två-tre bra målchanser men fick inte hål på hemmalaget.
Tränar Toni Koskela var besviken efteråt. "Vi gör anfallsspelet onödigt komplicerat när vi med enkla passningar hade kunnat ta oss förbi", säger han enligt klubbens hemsida.
Arvidsson själv kunde knappt ta in segern. "Det känns otroligt skönt. Jag har svårt att ta in det fortfarande", säger han till TV4.
Halmstads BK hade inte vunnit på nio raka matcher innan dagens möte. Nu har de fem poäng upp till kvalplats.
Nästa motstånd är Degerfors på lördag. Det laget föll mot Elfsborg tidigare under dagen.
Ett sent avgörande som kan bli avgörande i bottenstriden.