Det var en jämn inledning på Strandvallen. Sedan tog Elfsborg över och Olsson hittade nätet.
Mjällby har nu åtta raka matcher utan seger i allsvenskan. Den senaste segern kom för tre månader sedan.
Jacob Bergström är förvånad över att laget tappat sin hemmastyrka.
– Att vi har tappat det var det sista jag trodde vi skulle göra, säger han till nsk.se.
Axel Norén lovar fortsatt kamp.
– Vi kämpar på och gnuggar på. Det är inget gnäll på varandra i laget i alla fall, säger han till TV4.
Elfsborg tog sin andra raka seger. 19-årige Ossian Nordvall gjorde allsvensk debut med ett inhopp i den 84:e minuten.
Efter matchen pratade Mjällby-spelarna med supportrarna. Bottenstrid väntar i höst för de regerande mästarna.