Вперше фестиваль було проведено у 1997 року як всеукраїнський джазовий фестиваль, і вже наступного, 1998 року, фестиваль здобув статус міжнародного. «Пап-джаз-фест» — єдиний ромський фестиваль в Україні; він був організований заслуженим працівником культури України, активним ромським громадським діячем Вілмошем Аладаровичем Папом (Віллі Пап-старший), пам’ять якого вшановували на минулорічному фестивалі. Продовжити традицію фестивалів узяв на себе син музиканта – Вільгельм Пап-молодший, піанист, клавішник, композитор, учасник сімейного ансамблю «Пап-джаз-квартет», який також був створений його батьком – Віллі Папом-старшим.
