
В 1987 году окончил Ленинградское высшее инженерное морское училище им. адмирала С.О. Макарова по специальности «Радиотехника».
В 1987-1991 годах работал инженером АСУ Балтийского морского пароходства.
В 1991-1994 годах был начальником агентского отдела и заместителем директора ЗАО «Инфотек Балтика». Эта компания занималась организацией перевалки и сопровождения грузов в портах Российской Федерации, а сам Олерский выступил позднее одним из ее совладельцев.
С 1994 года — директор АОЗТ "Инфотек Балтика". С 2003 года — председатель совета директоров ОАО "Северо-Западное пароходство".
С 2007 года — заместитель председателя Морского совета при правительстве Санкт-Петербурга.
С июля 2009 года — заместитель министра транспорта Российской Федерации. С февраля 2016 года по июнь 2018 года — заместитель министра транспорта РФ — руководитель Федерального агентства морского и речного транспорта (Росморречфлот). 21 июня 2018 года отправлен в отставку.
С 2017 года — член совета директоров ПАО "Совкомфлот". После ухода с госслужбы он стал совладельцем ООО «Водоход Трэвел Сервисез» вместе с Ришатом Багаутдиновым и Владимиром Касьяненко. В 2019 году эта компания выступила покупателем финской верфи «Arctech Helsinki Shipyard Oy». Стоимость сделки могла составить до 1,5 миллиардов евро. Также Виктор Олерский имеет интересы в проекте строительства порта Тулома в Мурманской области, через который можно переваливать до 6 миллионов тонн минеральных удобрений в год.
По данным российских СМИ, на 2007 год Виктор Олерский имел гражданство Бельгии, от которого он при поступлении на госслужбу якобы отказался.