Haces clic con el ratón derecho sobre el acceso directo. En el menú de contexto que aparece a continuación selecciona la opción Propiedades.
A continuación aparecerá una ventana, en la que debes seleccionar la pestaña Acceso directo. Cuando se actualice la ventana, verás en la casilla Destino, que se encuentra a la derecha, el directorio y el nombre del fichero con la presentación típica del sistema operativo MS-DOS a continuación y justo detrás del símbolo "/" aparece el nombre completo del fichero que estás buscando. Ahora podrías ir abriendo carpetas hasta llegar a su localización, pero hay un método más fácil.
Para encontrar este fichero con el Explorador de Windows sólo tienes que hacer clic en Buscar destino tras lo cual se abrirá una ventana en la que ya está marcado el fichero anterior. Para borrarlo sólo tienes que pulsar la tecla Supr.
A continuación puedes cerrar el Explorador de Windows, haz clic cobre el botón Aceptar, ahora sólo queda borrar el acceso directo arrastrándolo a la papelera o pulsado la tecla Supr.