Python常见库安装
流程流程一定要是:(创建独立环境,可选)–安装–测试
关于环境管理————conda用了一辈子conda,以前总感觉高级,现在几经考虑,还是建议新手不要用conda,因为不方便,而且很多包安装到了最后还是得靠pip
1 是新手不需要那么多不同版本的环境,
2 是conda源经常没有库或者换库名,而且conda还有除了python以外的C、R的库,容易混淆库名
3 环境不一定要用conda,还有virtualenv ,可直接对接pip,pypi有更多包
4 上网不方便,新库、github上库一般都是pip安装,新库进了Pypi多久能进conda channel呢?但conda很多都不会给安装命令,只能靠自己
opencv-pythonconda安装不太方便,用pip吧
1pip install opencv-python -y
或者在conda中
1python -m pip install opencv-python
测试代码
12345678910import cv2import numpy as np# 创建白图img=np.ones((512,512))# 显示图片print( ...
CLI美化
打印/画大字母有个词叫ASCII art
art库art: 🎨 ASCII art library for Python (github)
安装1conda install -c conda-forge ascii-art
用法
1-Line Art 即一些表情或者符号
ASCII Text 即字母打印成2D图
Decoration 装饰
Font Modes 风格
常用:123# 风格是随机的from art import *tprint("test","rnd-xlarge")
下面两个语句一样,但是后者分步,可以保存字符到txt便于迁移,参数font指定风格,decoration指定装饰,sep指定分隔符
12tprint("test",font="cybermedum")print(text2art("test",font="black"))
风格列表,固定风格
1set_default(font="italic")
...
AI应用任务整理
本文整理了一些AI应用任务,区别于过程或者研究意义上的任务,比如光流估计,这里强调直接应用.不要关注方法,因为方法可能瞬息万变,关注一下输入输出的连接性、类型以及效果(成功率)
CV
去噪 img2img
清晰度增强 img2img
风格迁移 img2img
抠图/消除物体 img2img* 2
目标识别与跟踪 img2img location
运动估计、定位 img2 location vec
三维建模 img2model
转换(换人、换脸、换物体)img2 img
电影上色 gray2rgb
OCR
NLP
语音识别(speech2text)
语音合成(text2speech)
实体分割与关系抽取(text2struct)
程序合成 (text2struct)
文本转换(扩写、改写、缩写、内容提取、翻译)
问答系统
情感分析
文本分类/聚类
校对
搜索
语音唤醒
降噪
多源声音定位
video=img+voice+time series
多模态:
文生图/视频(text2img,video)
图片理解、视频理解(img,video2te ...
Those that I Am Concerned About
关键词:程序合成、语义分析(semantic parsing)、逻辑推理
当前LLM已经能完成相当一部分任务,但是准确率之类的可能还不足·
1234567891011121314151617181920212223242526272829303132333435363738394041我:我不在乎你说什么,回答我10个字星火:好的,我会尽力回答。我:开始 星火:好的,以下是我的回答:1. 我不在乎你说什么。2. 回答我10个字。3. 尽力回答。4. 你说什么?5. 好的,我会尽力回答。6. 开始回答。7. 好的,这是我的回答。8. 请继续提问。9. 谢谢你的提问。10. 我期待你的下一次提问。我:answer me 10 words,ok?星火:Sure, here are 10 words for you:1. Hello!2. Goodbye!3. How are you?4. What's your name?5. Thank you!6. I'm sorry.7. Please forgive me.8. Excuse me.9. I love you.1 ...
Hugging face Startup
Reference:Huggingface文档☘
本文档主要用于记录、复现、回退🤪。
安装我用conda1conda install -c conda-forge huggingface_hub
但是我想安装torch和cli,但是不知道它安装的是不是gpu版本很烦
123conda create -n env4hfconda activate env4hfconda install -c conda-forge huggingface_hub[cli,torch]
测试1python -c "from huggingface_hub import model_info; print(model_info('gpt2'))"
-c 参数是 Python 命令行解释器的一个选项,它允许你执行一段 Python 代码。在 -c 后面,你需要提供一个字符串,这个字符串就是你要执行的 Python 代码.报错
123 File "C:\Users\A\miniconda3\envs\env4hf\Lib\site-packages\requ ...
本地部署、再训练与二次开发自己的LLM
选型参考问题选型必然考虑优缺点、benchmark指标,比如准确性、模型大小及要求(能否在个人PC部署)、推理速度、是否开源/国产(防止被封和维护问题)
要求最好开源且4070 12G GPU上推理或者api调用
准确性较高、速度较快
Benchmark Leaderboardopen-llm-leaderboard (Open LLM Leaderboard) (huggingface.co)
C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models (cevalbenchmark.com)
Alpaca Eval Leaderboard (tatsu-lab.github.io)
In DetailsAutoGenAutoGen帮助开发者创建基于大语言模型的复杂应用程序。依赖于openai付费的apikey,弃用
fastchatlm-sys/FastChat: An open platform for training, serving, and ...
如何高效做好一份ppt
PPT背景图片要么使用模板,再替换小图;要么全背景
来源1.从ppt软件-插入-图片-网上图片,由于PPT自带,图比较合适,缺点: 在于可能要充钱
2.搜索相关词(尤其和销售商业公司有关),到相关商业公司、网购平台产品页爬取图片
3.知名网页:
pexels
pixabay
freepik
要求图片要求:像素越高越好,一般720p以上
配色问题,字体颜色、PPT模板颜色和图片颜色要搭配:
一深一浅,背景深则字体白
Python函数式编程、装饰器与闭包
python函数式编程、闭包和装饰器本笔记涉及函数生成器、函数式编程、闭包、高阶函数、装饰器、lambda表达式、匿名函数、偏函数等名词和语法、功能实现。todo:map、reduce、filter、sorted
高阶函数☘我们知道python中可以将一个变量赋值为函数名,从而实现函数调用(类似C语言中,使用指向函数的指针来调用函数)
123f = absf(-10)# 10
一个函数可以接收另外一个函数作为参数,这种函数就称为高阶函数,例如
123456def add(a,b): return a+bdef m(a,b,op): return op(a,b)m(1,2,add)# 3
lambda表达式(匿名函数)与函数生成器:☘12def f(x): return x * x
等同于
1lambda x:x*x
但是后面这种没法被后续调用(因为它没有名字),所以只能用一次并且必须立即使用,lamda表达式被广泛使用到函数式编程中,并且我记得以前在用keras编写autoencoder中在构建模型时用过与之类似的keras.layers.Lambda()即lambda层
应用☘ ...
神经网络小作业
作业:建立CNN和BP网络,并针对给定的数据集研究其层数等参数对效果的影响
BP神经网络BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络。
BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元,这些神经元称为隐单元,它们与外界没有直接的联系,但其状态的改变,则能影响输入与输出之间的关系,每一层可以有若干个节点。
BP网络能学习和存储大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。其主要的特点是:信号是正向传播的,而误差是反向传播的。
1234567891011121314151617181920212223242526272829#code 9.2 from keras.utils import np_utils from keras.models import Sequential from keras.lay ...
基于Python的光学实验仿真
Background单缝衍射
双缝干涉大抵是高中背了一次,大学物理又背了一次,帮同学写小作业拾起来再复习了一次
单缝衍射单缝衍射是光在传播过程中遇到障碍物,光波会绕过障碍物继续传播的一种现象。如果波长与缝、孔或障碍物尺寸相当或者更大时,衍射现象最明显。依据光源、衍射屏(障碍物)及接收屏相对位置的不同,常将衍射分为两类,即菲涅尔衍射与夫琅和费衍射。在光学里,菲涅耳衍射(Fresneldiffraction)指的是光波在近场区域的衍射,即光源或衍射的图样的屏与衍射孔(障碍物)的距离是有限的。菲涅耳衍射积分式可以用来计算光波在近场区域的传播,因法国物理学者奥古斯丁·菲涅耳而命名,是基尔霍夫衍射公式的近似 光源和光屏到障碍物的距离均不是很远,并且没有使用透镜。此时光线不是平行光,即波阵面不是平面。这种情况是菲涅尔最早(1818年)描述的,所以称为菲涅尔衍射。光源和光屏到障碍物的距离都很大,此时入射光为平行光,波面是平面,衍射光也是平行光。这种衍射称为夫琅禾费衍射。在实验室里,我们可以很容易的用透镜使入射球面光波变成平行光,很容易实现夫琅禾费衍射的条件。显然,菲涅尔衍射是普遍情况,夫琅禾费衍射只 ...