Haces clic sobre el icono que quieres eliminar y lo arrastras hasta un lugar libre de la barra de tareas, en unos instantes todas las ventanas abiertas se minimizarán y podrás ver todo el Escritorio incluyendo la papelera de reciclaje.
Ahora arrastras el icono a la Papelera y se eliminará.