💡 [REQUEST] - <title>可以在MAC上运行，并利用MPS设备吗？或者能否支持nvidia jetson这类移动设备？

[chenggangqcg]

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

需要在一些移动端、连不上服务器的场景运行minicpm。
能否支持MAC上或Nvidia Jetson等便携的设备？

基本示例 | Basic Example

null

缺陷 | Drawbacks

null

未解决问题 | Unresolved questions

No response

[tc-mb]

如果在这些场景上使用，可以用llama.cpp或者ollama。我们的模型都适配过了，使用很方便。