Henry Sletsjöe slog in 1-0 i den 52:a minuten. Robert Frosti Thorkelsson hittade fram med passningen. Det såg ut att räcka.
Men i den 92:a minuten fick jumbon straff. Inhopparen William Milovanovic sparkade klumpigt ned Malte Persson när han skulle rensa bollen.
Rocco Ascone satte säkert.
– Han håller nerverna i styr, säger Stuart Baxter till TV4 Play.
– Vi har oss själva att skylla. Det är flera gånger under säsongen vi har spelat för dåligt under slutet av matcherna. Vi blir för fega och oorganiserade, säger Sletsjøe.
Gais hade tagit emot Halmstads BKs BK efter segern mot Nordsjælland i Conference League-kvalet. I startelvan stod den förre Bajen-duon Nikola Vasic och Dennis Collander.
Första halvlek slutade mållöst.
– Vi har släppt in så många mål i början av andra halvlek. Jag trodde jag skulle svimma av när vi gjorde det igen. Men jag är nöjd med hur vi svarar upp på det, säger Baxter.
En blytung poäng för tabelljumbon.