Den 20-årige mittfältaren hoppade in i den 63:e minuten. Tio minuter senare nickade han in 1-0 på hörna.
I slutminuterna slog Arber Zeneli fram Östman till 2-0.
Men det var BP som skapade de bästa chanserna i första halvlek. Isak Pettersson tvingades till flera kvalificerade räddningar.
– Vi kom inte in i matchen som vi ville och släppte till lite för mycket chanser. Men vi fortsätter gnugga på och vet att det kan vända när som helst, sa Östman i TV4:s sändning.
Även Sebastian Holmén var självkritisk.
– Vi kommer inte in i pressen, sa han.
Före matchen valdes tidigare statsministern Ingvar Carlsson in i Elfsborgs Hall of Fame. 91-åringen spelade själv i klubben till 17 års ålder.
Segern innebär att Elfsborg nu vunnit åtta av tio allsvenska möten med BP i Borås.