Hugging face Startup
Reference:Huggingface文档☘
本文档主要用于记录、复现、回退🤪。
安装我用conda1conda install -c conda-forge huggingface_hub
但是我想安装torch和cli,但是不知道它安装的是不是gpu版本很烦
123conda create -n env4hfconda activate env4hfconda install -c conda-forge huggingface_hub[cli,torch]
测试1python -c "from huggingface_hub import model_info; print(model_info('gpt2'))"
-c 参数是 Python 命令行解释器的一个选项,它允许你执行一段 Python 代码。在 -c 后面,你需要提供一个字符串,这个字符串就是你要执行的 Python 代码.报错
123 File "C:\Users\A\miniconda3\envs\env4hf\Lib\site-packages\requ ...
本地部署、再训练与二次开发自己的LLM
选型参考问题选型必然考虑优缺点、benchmark指标,比如准确性、模型大小及要求(能否在个人PC部署)、推理速度、是否开源/国产(防止被封和维护问题)
要求最好开源且4070 12G GPU上推理或者api调用
准确性较高、速度较快
Benchmark Leaderboardopen-llm-leaderboard (Open LLM Leaderboard) (huggingface.co)
C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models (cevalbenchmark.com)
Alpaca Eval Leaderboard (tatsu-lab.github.io)
In DetailsAutoGenAutoGen帮助开发者创建基于大语言模型的复杂应用程序。依赖于openai付费的apikey,弃用
fastchatlm-sys/FastChat: An open platform for training, serving, and ...
如何高效做好一份ppt
PPT背景图片要么使用模板,再替换小图;要么全背景
来源1.从ppt软件-插入-图片-网上图片,由于PPT自带,图比较合适,缺点: 在于可能要充钱
2.搜索相关词(尤其和销售商业公司有关),到相关商业公司、网购平台产品页爬取图片
3.知名网页:
pexels
pixabay
freepik
要求图片要求:像素越高越好,一般720p以上
配色问题,字体颜色、PPT模板颜色和图片颜色要搭配:
一深一浅,背景深则字体白
Python函数式编程、装饰器与闭包
python函数式编程、闭包和装饰器本笔记涉及函数生成器、函数式编程、闭包、高阶函数、装饰器、lambda表达式、匿名函数、偏函数等名词和语法、功能实现。todo:map、reduce、filter、sorted
高阶函数☘我们知道python中可以将一个变量赋值为函数名,从而实现函数调用(类似C语言中,使用指向函数的指针来调用函数)
123f = absf(-10)# 10
一个函数可以接收另外一个函数作为参数,这种函数就称为高阶函数,例如
123456def add(a,b): return a+bdef m(a,b,op): return op(a,b)m(1,2,add)# 3
lambda表达式(匿名函数)与函数生成器:☘12def f(x): return x * x
等同于
1lambda x:x*x
但是后面这种没法被后续调用(因为它没有名字),所以只能用一次并且必须立即使用,lamda表达式被广泛使用到函数式编程中,并且我记得以前在用keras编写autoencoder中在构建模型时用过与之类似的keras.layers.Lambda()即lambda层
应用☘ ...
神经网络小作业
作业:建立CNN和BP网络,并针对给定的数据集研究其层数等参数对效果的影响
BP神经网络BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络。
BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元,这些神经元称为隐单元,它们与外界没有直接的联系,但其状态的改变,则能影响输入与输出之间的关系,每一层可以有若干个节点。
BP网络能学习和存储大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。其主要的特点是:信号是正向传播的,而误差是反向传播的。
1234567891011121314151617181920212223242526272829#code 9.2 from keras.utils import np_utils from keras.models import Sequential from keras.lay ...
基于Python的光学实验仿真
Background单缝衍射
双缝干涉大抵是高中背了一次,大学物理又背了一次,帮同学写小作业拾起来再复习了一次
单缝衍射单缝衍射是光在传播过程中遇到障碍物,光波会绕过障碍物继续传播的一种现象。如果波长与缝、孔或障碍物尺寸相当或者更大时,衍射现象最明显。依据光源、衍射屏(障碍物)及接收屏相对位置的不同,常将衍射分为两类,即菲涅尔衍射与夫琅和费衍射。在光学里,菲涅耳衍射(Fresneldiffraction)指的是光波在近场区域的衍射,即光源或衍射的图样的屏与衍射孔(障碍物)的距离是有限的。菲涅耳衍射积分式可以用来计算光波在近场区域的传播,因法国物理学者奥古斯丁·菲涅耳而命名,是基尔霍夫衍射公式的近似 光源和光屏到障碍物的距离均不是很远,并且没有使用透镜。此时光线不是平行光,即波阵面不是平面。这种情况是菲涅尔最早(1818年)描述的,所以称为菲涅尔衍射。光源和光屏到障碍物的距离都很大,此时入射光为平行光,波面是平面,衍射光也是平行光。这种衍射称为夫琅禾费衍射。在实验室里,我们可以很容易的用透镜使入射球面光波变成平行光,很容易实现夫琅禾费衍射的条件。显然,菲涅尔衍射是普遍情况,夫琅禾费衍射只 ...
深入了解Windows-进程间通信
进程间通信(IPC)以下是星火大模型回答,在Windows中,进程间通信(IPC)机制提供了多种方法,包括:
管道(包括无名管道和命名管道)
消息队列
信号量
共享内存
套接字Socket
远程过程调用(RPC)
本地过程调用(LPC):LPC是一种基于函数调用的IPC机制,它允许一个进程调用另一个进程中的函数。这种方法适用于需要在多个进程之间共享代码的情况。
事件
互斥量
文件映射
动态数据交换(DDE):DDE是一种基于消息的IPC机制,它允许一个进程向另一个进程发送命令并接收响应。DDE主要用于Windows桌面应用程序之间的通信。
对象连接与嵌入(OLE)
动态链接库(DLL)
剪贴板:进程可以通过访问系统剪贴板来共享数据。但是,剪贴板只能在同一台计算机上的进程之间共享。
邮槽:邮槽是一种基于消息的IPC机制,它允许一个进程将消息发送到另一个进程。邮槽可以通过命名管道、邮槽队列或邮槽服务来实现。
如何获取Windows中所有打开的管道的列表?法1:SysInternals中的pipelist软件(D:\BaiduNetdiskDownload\PipeList64),管理 ...
基于Hexo框架的博客
欢迎使用 Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
原则|简 Simple |效 Useful |要 Important
基本指令Create a new post 新博客创建1$ hexo new "My New Post"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites ...
Python Vscode调试
不同IDE调试大同小异,条件是
1 选择调试而不是直接执行,否则可能不会观察(jupyter notebook和matlab除外)2 在左边run and debug 里面,notebook在下方命令行处或笔记处选择显示3 必须添加断点,还可以监视表达式(类实例.成员,A==B之类的)