欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 文旅 > 游戏 > 【开源大模型生态2】数据、算力、算法,越来越猛!

【开源大模型生态2】数据、算力、算法,越来越猛!

2024/10/24 19:22:28 来源:https://blog.csdn.net/giszz/article/details/141826533  浏览:    关键词:【开源大模型生态2】数据、算力、算法,越来越猛!

人工智能(A)的快速发展依赖于三个核心要素:数据,算法,算力。这个观点已经得到了业界的高度认可。只有这三个要素同时满足了才能加速人工智能的大发展。随着人工智能大模型规模变大以及普及应用,人工智能对能源的需求也在不断加大,逐渐成为人工智能发展关键因素之一。

从感知、认知、决策,到学习、执行、社会协作,最终到情感的理解,大模型的发展,已经逼近临界点。(但是不是我们的想象力不够充分呢?)

上图中的一些概念,这里做一个汇总和解释:

  1. VGG - Visual Geometry Group (视觉几何小组)网络,是一种卷积神经网络(CNN)架构,由牛津大学的视觉几何小组提出,常用于图像识别任务。

  2. ResNet - Residual Network (残差网络),是由微软研究院提出的深度学习模型,通过引入“残差块”来解决深层神经网络中的梯度消失问题。

  3. Deep Speech - 深度语音,是Mozilla开源的一个基于深度学习的语音识别系统。

  4. DNN - Deep Neural Networks (深度神经网络),是一种具有多个隐藏层的人工神经网络模型,能够学习数据的复杂结构。

  5. CNN - Convolutional Neural Networks (卷积神经网络),主要用于图像处理领域,其结构包含卷积层、池化层和全连接层等。

  6. RNN - Recurrent Neural Networks (循环神经网络),是一类用于序列数据处理的神经网络模型,比如自然语言处理中的文本序列。

  7. RBN - Restricted Boltzmann Machine (受限玻尔兹曼机),是一种生成式随机人工神经网络算法,用于发现数据中的特征。

  8. LSTM - Long Short-Term Memory (长短期记忆网络),是一种特殊的RNN,设计用于捕捉长期依赖关系,避免了长期预测中的梯度消失问题。

  9. RL - Reinforcement Learning (强化学习),是一种机器学习方法,通过试错的方式让智能体在环境中学习最优行为策略。

  10. TensorBoard - TensorFlow自带的可视化工具,可以帮助开发者查看模型的运行情况,包括损失函数的变化、直方图等。

  11. TensorFlow-Slim - 是TensorFlow的一个轻量级库,简化了构建、训练和评估机器学习模型的过程。

  12. Keras - 是一个用Python编写的高级神经网络API,可以在TensorFlow之上运行,提供了一个用户友好的建模接口。

  13. TensorFlow - 是Google开源的一个机器学习框架,支持多种计算设备和分布式计算环境。

  14. Theano - 是一个Python库,允许你定义、优化和高效地评估涉及多维数组的数学表达式,尤其是在GPU上。

  15. PyTorch - 是Facebook的人工智能研究实验室开发的一个基于Torch的Python开源机器学习库。

  16. Zookeeper - 是一个分布式的协调服务,用于大型服务系统中管理和协调分布式应用程序。

  17. LMDB - Lightening Memory-Mapped Database (闪电内存映射数据库),是一个高性能的嵌入式键值存储系统。

  18. Hive - 是建立在Hadoop之上的数据仓库工具,可以将复杂的MapReduce任务简化为SQL查询。

  19. Pandas - 是一个基于NumPy的数据分析库,提供了大量的数据结构和数据分析工具。

  20. Kettle - 又名Pentaho Data Integration,是一个开源的数据集成工具,用于ETL(Extract, Transform, Load)操作。

  21. Scrapy - 是一个用于Web抓取(网页爬虫)的开源和协作框架,用于提取所需的数据。

  22. HDFS - Hadoop Distributed File System (Hadoop分布式文件系统),是Hadoop项目的核心之一,提供高吞吐量的数据访问。

  23. HBase - 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google Bigtable 论文。

  24. K8s - Kubernetes (K8s是Kubernetes的一种缩写方式,K到s之间有8个字母),是一个开源系统,用于自动化部署、扩展以及管理容器化应用程序。

  25. OpenStack - 是一个开源软件平台,用于创建和管理云端运算的基础设施即服务(IaaS)。

  26. TPU - Tensor Processing Unit (张量处理单元),是Google设计的一种ASIC芯片,专门用于加速机器学习应用中的TensorFlow工作负载。

(未完待续) 

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com