自动化分布式深度学习系统，在分布式集群上自动化训练深度学习模型

自动化分布式深度学习系统，在分布式集群上自动化训练深度学习模型DLRover自动在分布式集群上训练深度学习模型。它可以帮助模型开发人员专注于模型架构，而无需关心任何工程方面的事情，比如硬件加速、分布式运行等。现在，它为K8s/Ray上的深度学习训练作业提供自动化运维。主要特点为AutomaticResourceOptimization自动优化作业资源，提高训练性能和资源利用率。动态数据分片，动态分配训练数据给每个worker而不是平分，更快的worker更多数据。容错，单节点故障转移，无需重新启动整个作业。自动缩放，在节点级别和CPU/内存级别自动扩展/缩减资源。#机器学习

可扩展、分布式、协作式文档-图数据库，可用于实时 Web应用

可扩展、分布式、协作式文档-图数据库，可用于实时Web应用SurrealDB是一个端到端的云原生数据库，适用于Web、移动、无服务器、jamstack、后端和传统应用程序。SurrealDB通过简化数据库和API堆栈来减少现代应用程序的开发时间，消除对大多数服务器端组件的需求，让你能够更快、更便宜地构建安全、高性能的应用程序。SurrealDB既充当数据库，又充当现代、实时、协作的API后端层。SurrealDB可以作为单个服务器运行，也可以以高可用、高可扩展的分布式模式运行——支持从客户端设备进行SQL查询、GraphQL、ACID事务、WebSocket连接、结构化和非结构化数据、图形查询、全文索引、地理空间查询和逐行基于权限的访问。特征：数据库服务器或嵌入式库多行、多表ACID事务单节点或高度可扩展的分布式模式记录链接和有向类型图连接存储结构化和非结构化数据用于预先计算的高级分析的增量计算视图Realtime-api层，内置安全权限使用表格、文档和图形以任何方式存储和建模数据前端和后端开发的简单模式定义直接从网络浏览器和客户端设备连接和查询使用嵌入式JavaScript函数实现自定义高级功能

FFmpeg 5.1开始兼容IPFS文件系统 开发者期待更多开源项目提供支持

FFmpeg5.1开始兼容IPFS文件系统开发者期待更多开源项目提供支持IPFS全称"InterPlanetaryFile-System"协议，可实现在分布式文件系统中支持点对点网络共享，现在FFmpeg5.1已经支持这一协议。实验室的IPFS开发者也在考虑将对该协议的支持扩展到其他开源项目。7月发布的FFmpeg5.1引入了对这种分布式点对点协议的本地IPFS支持。MarkGaiser作为OpenGrant的参与者变成了ProtocolLabs的承包商，最近在IPFS.io上发表了关于FFmpegIPFS实现的博客。如果对FFmpeg的IPFS支持感兴趣，可以看看那篇文章，了解更多关于它的工作方式：https://blog.ipfs.io/2022-08-01-ipfs-and-ffmpeg/还有消息称，从MPlayer分叉出来的MPV视频播放器也将在其下一个版本中支持IPFS。除此之外，开发者还在考虑将IPFS支持扩展到其他开源项目。Kodi和VLC是其他被关注的支持这种分布式文件系统/协议的媒体项目之一。开发者还在寻找其他著名的开源项目或关键的底层的反馈，在这些项目中，用户将有可能看到IPFS的进一步支持。PC版：https://www.cnbeta.com/articles/soft/1302935.htm手机版：https://m.cnbeta.com/view/1302935.htm

微软为 Win11 启用 ReFS文件系统

微软为Win11启用ReFS文件系统与NTFS（NewTechnologyFileSystem，新技术文件系统，于1993随NT系统一同亮相）相比，ReFS宣称可在虚拟机(vm)上带来更强的弹性、更高的性能，以及更高的数据大小支持(35PB，NTFS为256TB)，以及其他优点。投稿：@ZaiHuabot频道：@TestFlightCN

打造私人分布式存储系统课程

名称：打造私人分布式存储系统课程描述：数据存取与安全是数据时代的基石，个人隐私现在愈发重要，拥有属于自己的高安全性迫在眉睫。本课程将带你从项目设计、实现、优化、压力与并发安全测试、部署上线全流程打造业务俱全的系统，并解决数据存储安全问题。助力你实现复杂业务与全栈技术双重提升，大大提升毕设通过率，求职面试通过率，升职加薪成功率。建议先收藏保存，不定时失效。链接：https://pan.quark.cn/s/ad7272520cf0大小：NG标签：#quark#学习#资源#课程#存储频道：@yunpanshare群组：@yunpangroup