Вы имеете ввиду то пространство, которое находится под окном? Я бы туда вставил хороший радиатор или можно просто зашить. Если холод не идёт с ниши, то можно не трогать.
Лучше всего оставить, если зимой на кухне тепло. Зато как хорошо хранить там овощи-фрукты, и разные баночки с вареньем и соленьем. В крайнем случае, отлично хранить морковь, свеклу, капусту....