Por defecto Windows manda a la papelera cualquier archivo o carpeta que borras, pero si estas seguro que los archivos que vas a borrar jamas los vas a volver a utilizar no tiene sentido tener que borrarlo dos veces.
Si quieres saltarte la papelera de reciclaje de Windows y borrar un archivo o carpeta de forma permanente mantén presionada la tecla Shift y haz clic derecho sobre el icono del objeto a borrar y luego click izquierdo en Delete (sin soltar la tecla Shift).
Windows te consultara si estas seguro que lo vas a borrar de manera permanente a lo que debes confirmar y listo!