当前位置:首页 > 操作系统 > MacOs

python – 为Google Cloud Machine Learning项目存储图像的最佳方式?

我正在使用带有Tensorflow和Keras的Google Cloud Platform运行机器学习项目.我的数据集中有大约30,000个PNG图像.当我在本地运行它时,Keras具有很好的实用程序来加载图像,但是Google Cloud Services需要使用某些库,例如tensorflow.file_io(请参阅:Load numpy array in google-cloud-ml job),以便从GC存储桶中读取文件.

从Google云端存储分区加载图像的最佳方法是什么?现在我将它们保存为字节并从一个文件中读取它们,但是能够直接从GC存储桶加载图像会很棒.

谢谢,

解决方法:

这篇文章可能有帮助.

Tensorflow multithreading image loading

它使用新的tf.data.Dataset API以高效的方式直接加载图像.因此,您可以存储单个文件而不是单个文件…尽管可能单个文件可能会提供更好的性能,如果您使用类似于每个记录包含图像的TFRecord文件.

希望有所帮助!


【说明】本文章由站长整理发布,文章内容不代表本站观点,如文中有侵权行为,请与本站客服联系(QQ:254677821)!

相关教程推荐

其他课程推荐