Stratos Svarnas nickade in matchens enda mål på en fast situation.
Tidigt i andra halvleken blev Amin Boudri utvisad. Allsvenskans dyraste spelare genom tiderna fick sitt andra gula kort efter en duell framför domaren.
– Det blir så ibland när man är för het, när man vill för mycket. Den här gången blev det fel, säger Boudri.
Trots underläget hade Hammarby flera kvitteringslägen. Men laget lämnade matchen mållöst.
– Det känns som att vi kastar bort det igen. Det är bara på oss och ingen annan, säger Paulos Abraham.
Hammarby trodde de skulle få straff vid ett tillfälle. I stället vände spelet och Raków gjorde mål.
– Om man har matchen under kontroll vet vi att de kommer vara farliga på fasta situationer, säger Nahir Besara.
Förre AIK-spelaren Erick Ouma Otieno fick jubla mot Bajen. Raków möter Hajduk Split i nästa omgång.