Oliver Berg hade matchens jätteläge men missade helt ostörd i straffområdet. Isak Pettersson tvingades till flera kvalificerade räddningar.
I den 63:e minuten bytte Björn Hamberg in Leo Östman. Nio minuter senare nickade 20-åringen in 1-0 på Julius Magnussons hörna.
– Det är en otrolig känsla. Det är det man lever och jobbar för. Det går inte att beskriva, säger Östman till TV4.
I slutminuterna slog Arber Zeneli fram Östman till 2-0.
Sebastian Holmén var självkritisk efter den svaga första halvleken.
– Vi kommer inte in i pressen, säger han.
Före avspark valdes tidigare statsministern Ingvar Carlsson in i Elfsborgs Hall of Fame. 91-åringen spelade själv i klubben upp till 17 års ålder.
Elfsborg kan nu gå upp som tabelltvåa beroende på övriga resultat i omgången.