¿ Donde están los libros de mi iBooks ?

¿ Donde están ubicados los archivos de los libros que he agregado a mi iBooks ?

~/Library/Containers/com.apple.BKAgentService/Data/Documents/iBooks/Books

¿ Puedo borrarlos de otros lugares, por ejemplo de la carpeta de descargas, una vez agregados al iBooks ?

Sí, una vez agregados al iBooks son copiados a la «Colección» y puedes organizarlos creando distintas colecciones.