New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
FlaxKV:Python高性能磁盘字典,简单易用 #2674
Labels
Comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
推荐项目
类别:Python
项目标题:FlaxKV:Python高性能磁盘字典,简单易用
项目描述:
flaxkv
提供了一个非常类似字典的接口,用于与高性能键值数据库进行交互。 你可以直接将它当成python字典来使用而不必担心在任何时候操作数据库时会阻塞你的用户进程。亮点:
保持最新,永不阻塞:它被设计的初衷便是不让任何写入操作阻塞用户进程,同时用户永远可以读取到最新写入的数据。
易于使用:与数据库交互,就像使用 Python 字典一样!你甚至不用关心它的资源释放
缓冲写入:数据将被缓冲写入及计划写入数据库,减少数据库频繁写入的开销。
高性能数据库后端: 使用高性能键值数据库 LevelDB 作为默认后端。
原子操作:确保写入操作是原子的,保证数据完整性。
线程安全:仅使用必要的锁来确保安全的并发访问同时又能兼顾性能。
示例代码:
适用场景
适用于保存简单的键值结构数据
适合需要高频插入/更新数据的场景
适用于保存机器学习中的各种嵌入向量、图像、文本和其它键-值结构的大型数据集。
The text was updated successfully, but these errors were encountered: