Церковь, построенная в ХIII веке, была названа в честь норвежского короля Олафа Харальдссона, впоследствии причисленного к лику святых. Первое упоминание о ней относится к 1267 году как о действующем храме, находящемся под опекой женского цистерцианского монастыря Св. Михаила.
Примечательно, что главная башня церкви со шпилем длиной 159 метра до первой четверти ХVIII века была самым высоким сооружением в мире, пока там не случился пожар и ее место в рейтинге не заняла церковь Святой Марии в Штральзунде. Тем не менее церковный шпиль был виден за многие километры и являлся хорошим ориентиром для кораблей. Однако столь гигантская высота скрывала в себе и значительную угрозу: восемь раз церковь поражали удары молнии, и трижды во время грозы она подвергалась разрушительному пожару.
Реформация в Таллине началась 14 сентября 1524 года в церкви Святого Олафа, которая в результате стала лютеранской. В XVIII столетии она стала центром пиетистского пробуждения в Эстонии. В XIX столетии в церкви трудились многие евангельские проповедники, влияние которых распространялось далеко за пределы церкви. До середины ХХ века она принадлежала лютеранской общине.
В 1950 году здание было отдано Всесоюзному совету евангельских христиан-баптистов. В новую церковь вошли верующие четырех течений: баптисты, евангельские христиане, пятидесятники и свободные христиане.
Главным украшением церкви Св. Олафа являются готические звездчатые своды, в которых пересечение каркасных арок создает сложный "звездчатый" геометрический рисунок. Также особого внимания достойны старинный скульптурный рельеф Св. Олафа, размещенный за алтарем, и часовня Девы Марии, пристроенная с восточной стороны церкви. На внешней стене капеллы Марии установлена символическая плита (кенотаф) в память об инициаторе постройки часовни Хансе Павелсе.
Увенчанная готическим шпилем башня церкви Святого Олафа в теплое время года служит смотровой площадкой, подняться на которую можно по узкой винтовой лестнице, преодолев 232 ступени. Ныне высота башни составляет 123,7 метра, а смотровая площадка расположена на высоте 60 метров.