В последние годы Ворошилов сильно болел: у него были стенокардия и высокое давление. А во время одной из съемок едва и вовсе не потерял сознание. Но ни одной игру он не отменил по состоянию здоровья. А меньше чем через три месяца после последнего выпуска "Что? Где? Когда?" 10 марта 2001 Ворошилов перенес обширный инфаркт. Врачи прибывшей "скорой" лишь констатировали смерть от сердечного приступа.
После гражданской панихиды на съемочной площадке "Что? Где? Когда?" в Нескучном саду столицы Ворошилова похоронили на престижном Ваганьковском кладбище. Спустя два года там был установлен памятник — куб из черного отполированного гранита, внешне напоминающий черный ящик и символизирующий загадку, с которой у современников ассоциировался Ворошилов. Монумент был возведен по эскизу архитектора Никиты Шангина, участника игры с 1981 по 2005 год.
Сегодня, как говорят на кладбище, перед очередной серией "Что? Где? Когда?" знаток интеллектуального клуба приходят на могилу легендарного ведущего с цветами и просьбой ума, озарения и смекалки. Именно этим объясняется большое количество живых цветов на захоронении. Считается, что если хорошо попросить, то волчок во время игры будет благосклонен, а вопросы телезрителей можно будет щелкать как семечки.
