Come detto da cosimo94, l'unico aspetto da non sottovalutare è il rischio parassiti...nel caso specifico trattasi di gatto non di proprietà, quindi non si può sapere se soggetto a cure veterinarie.

Riporto un'esperienza personale (piccolo OT): anni fa' avevamo uno Sharpei che, regolarmente, presentava nelle feci dei vermini bianchi sottilissimi (in questo momento non ricordo il loro nome). Ogni volta trattamento vermifugo. In quel periodo, il nostro giardino era frequentato da alcuni gatti dei vicini che, inevitabilmente, lasciavano i loro "ricordini". Il nostro cane quando girottava in mezzo alla vegetazione "intercettava" questi ricordini e si beccava i parassiti. Questo, nonostante la quotidiana pulizia del giardino...
Il vet ci spiegò che, pur raccogliendo le feci dei gatti, nel terreno potevano rimanere le uova di questi parassiti che il cane, annusando la terra, poteva ingerire.

Detto questo, in linea generale, i mici "domestici" non sono un pericolo per le nostre tartarughe, anche se personalmente proteggerei le baby a prescindere.