Cito la pagina di Apple:
"Se un'app si chiude in modo inaspettato, potrebbe non essere in grado di cancellare i file temporanei prima della chiusura. Quando riavvii il Mac, macOS sposta questi file temporanei nel Cestino."
Dovresti scoprire quale applicazione, quando la chiudi, si chiude male ogni volta, lasciando file temporanei (invisibili ma ci sono) che finiscono nella fastidiosa cartella.
C'è qualche applicazione che apre regolarmente documenti registrati sul disco esterno?