凡事预则立，不预则废
Python 3 和 Python 2 存在许多显著差异，下面为你详细介绍主要的不同之处：
print 属于语句，使用时无需括号。例如：print "Hello, World!"print 变为函数，必须使用括号。例如：print("Hello, World!")3 / 2 结果是 13 / 2 结果是 1.5。若想得到整数结果，需使用 // 运算符，如 3 // 2 结果是 1u，如 u"你好"except Exception, e 来捕获异常except Exception as e 这种语法range 函数 ：range 和 xrange 两个函数。range 返回列表，xrange 返回迭代器对象range 函数等同于 Python 2 的 xrange，返回迭代器对象，节省内存dict.keys()、dict.values() 和 dict.items() 返回列表urllib 模块被拆分成多个子模块，像 urllib.request、urllib.parse 等print(f'{a}{b}{c+d}')这种代码来组织字符串）Python 2 代码示例:
1 | # 打印语句 |
Python 3 代码示例 :
1 | # 打印函数 |
1 | except (ZeroDivisionError, ABCError) as e: |
pydantic在定义函数时，可以为参数和返回值指定类型，示例如下：
1 | def add_numbers(a: int, b: int) -> int: |
a: int 和 b: int 表明 a 和 b 应当是整数类型，-> int 表示该函数返回值为整数类型在类中，也能够为属性指定类型，示例如下：
1 | class Person: |
name: str 和 age: int 分别指定了 Person 类的 name 和 age 属性的类型Python 还提供了 typing 模块，借助该模块可以进行更复杂的类型提示，例如列表、字典等。示例如下：
1 | from typing import List, Dict |
List[int] 表示列表中的元素应当是整数类型，Dict[str, int] 表示字典的键为字符串类型，值为整数类型使用 typing 模块的 Optional 和 Union 可以表示可选类型和联合类型。示例如下：
1 | from typing import Optional, Union |
get_length 函数里，Optional[str] 意味着参数 s 可以是字符串类型，也可以是 Noneconvert_to_number 函数中，Union[int, str] 表示参数 value 可以是整数类型或者字符串类型text.split("\n")\n字符串,自动转义成换行符,显示出来就是分行的text.split("\\n")\n字符串,本质上需要二次转义才能显示为换行符号text.split(r"\n")r"\n"本身代表着"\n"是原始文本,无需转义,体现在分text.decode("unicode-escape").split("\n")1 | import re |
问题[数字1]：[数字2]为公式[数字1]。[数字2]，即其中问题和:替换为公式和。，并保留[数字]部分问题1：100为公式1。1001 | import re |
| 语法 | 名称 | 功能 |
|---|---|---|
(?=...) |
正向前瞻 | 后面必须是指定的模式 |
(?!...) |
负向前瞻 | 后面不能是指定的模式 |
(?<=...) |
正向后瞻 | 前面必须是指定的模式 |
(?<!...) |
负向后瞻 | 前面不能是指定的模式 |
(?:...) |
非捕获组 | 组合但不捕获 |
(?P<name>...) |
命名捕获组 | 捕获并命名 |
(?>...) |
原子组 | 匹配后不回溯 |
(?(...)...) |
条件匹配 | 根据条件匹配不同模式 |
(?...)是一种特殊的模式，其他字符表示如下：=表示匹配（对应为正），相反的是!表示不匹配（对应为负）<表示向后匹配，向后看（后瞻），相反的是不使用<，则表示向前看（前瞻）(?=...) \d(?=px) px，但只匹配数字10px 20em 1（在 10px 中），2（在 20em 中不匹配，因为后面是 em）(?!...) \d(?!px) px，但只匹配数字10px 20em 0（在 10px 中不匹配，因为后面是 px），2（在 20em 中）(?<=...) (?<=\$)\d+ $ 的数字$100 €200 100（$100 中的数字），200 不匹配，因为前面是 €(?<!...) (?<!\$)\d+ $ 的数字$100 200 200（$100 中的 100 不匹配，因为前面是 $）(?:...) (?:https?://)(\w+) http:// 或 https:// 后面的单词，但只捕获单词部分http://example.com https://test.com example 和 test(?P<name>...) (?P<year>\d{4})-(?P<month>\d{2}) year 和 month2023-10 year=2023，month=10(?>...) (?>a+)ab a，后面必须是 ab，且不会回溯aaab (?>a+)先匹配了aaa，导致正则表达式的ab无法与b匹配，此时不再回溯a+ab可以匹配aaab，因为a+先匹配了aaa，正则表达式的ab无法与b匹配，此时会回溯到a+先匹配了aa，正则表达式的ab与ab匹配(?(condition)true-pattern|false-pattern) (?(?<=foo)bar|baz) foo，则匹配 bar，否则匹配 bazfoobar testbaz bar（在 foobar 中），baz（在 testbaz 中）。To obtain the resulting model parameters from a Gibbs sampler， several approaches exist. One is to just use only one read out， another is to average a number of samples， and often it is desirable to leave an interval of L iteration between subsequent read-outs to obtain decorrelated states of the Markov chain. This interval is often called “thinning interval” or sampling lag.
安装相关库:
1 | pip install pattern |
导入和使用
1 | from pattern.text.en import lemma |
1 | "wordnet", "wordnet_ic", "sentiwordnet" |
1 | from nltk.stem.porter import PorterStemmer |
1 | # HTTP 代理 |
编辑用户目录下的 .bashrc 文件，在文件末尾添加上述代理设置命令：
1 | vi ~/.bashrc |
使配置生效：
1 | source ~/.bashrc |
如果需要让所有用户都使用代理，可以修改 /etc/profile 文件：
1 | sudo vi /etc/profile |
添加代理设置后执行：
1 | source /etc/profile |
可以使用 curl 命令测试：
1 | curl -I http://www.google.com |
如果返回 HTTP 状态码（如 200、301 等），说明代理配置成功
1 | unset http_proxy |
1 | pkill -u jiahong |
杀死进程
1 | kill [pid] |
强制杀死进程
1 | kill -9 [pid] |
如果不知道进程pid可以在top命令里面找COMMAND列中相关的进程
有时候通过top的信息不方便找到(比如想通过启动命令查找,比如想进程太多,找不过来)
此时通过下面的命令查找
1 | ps -aux | grep "command" |
更多ps -aux的解析可以参考博客https://www.cnblogs.com/dion-90/articles/9048627.html
1
2
apt intall htop
htop
Python 中如何使用CPU的多个核
1 |
1 |
若直接安装 docker 并启动 GPU 程序，会出现报错
比如，下面使用 Megatron 官方教程的命令（会使用到 GPU）：
1 | sudo docker run --ipc=host --shm-size=512m --gpus 2 -it nvcr.io/nvidia/pytorch:24.02-py3 |
执行上面的命令时出现下面的错误
1 | docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]] |
出现上面问题的原因是，Docker 无法找到合适的 GPU 驱动程序
NVIDIA Docker 工具链安装方式：
第一步：确保 NVIDIA 驱动已经安装
1 | nvidia-smi |
第二步：安装 NVIDIA Docker 工具链
1 | # 添加NVIDIA的包仓库 |