GPU服务器开局教程#

网络代理#

1. 最优解决方案设置旁路由，将流量发到旁路由之上

2. 使用xray（XTLS/Xray-install: Easiest way to install & upgrade Xray. (github.com)，配置运行 | Project X (xtls.github.io)）

   1. 设置终端走代理（让终端走代理的几种方法 | 王志文 (zwwangoo.github.io)）

   2. 变相实现透明代理

      1. 使用mihomo转发全局流量（利用Clash进行透明代理的抓包新姿势 - Is Yang’s Blog (isisy.com)）
      2. 使用tun2socks转发全局流量（Examples · xjasonlyu/tun2socks Wiki (github.com)）

3. 使用mihomo（Linux 系统 mihomo 安装教程 - axcsz/Collect GitHub Wiki (github-wiki-see.page)）
4. 谁家用web啊？（Debian / Ubuntu - v2rayA）

驱动安装#

• 若为Ubuntu系统，优先使用sudo ubuntu-drivers​，在 8卡 V100中sudo ubuntu-drivers autoinstall​可自动安装显卡驱动以及cuda环境（好评！！！）

  • 在A100中使用上述安装方法（未成功安装），官方源下载奇慢—>换清华源—>驱动缺失cuda

    • 可能原先环境未清除干净

      • 所使用的卸载命令sudo apt purge nvidia*​
      • 但cuda目录，以及环境变量未进行清理（猜测环境变量占主要原因）
      • 也有可能是内核中所加载的驱动未进行卸载

• 使用run方式进行驱动安装

  • 1. Nvidia驱动下载（下载 NVIDIA 官方驱动 | NVIDIA）

    2. 删除原有驱动，安装依赖环境（Options）

       1. ​sudo apt-get remove --purge nvidia*​
       2. ​sudo apt install gcc​
       3. ​sudo apt install make #安装驱动需要依赖​

    3. 禁用nouveau驱动

       1. 1
           sudo gedit /etc/modprobe.d/blacklist.conf
          

       2. 编辑 /etc/modprobe.d/blacklist-nouveau.conf 文件，末行添加

          1
          blacklist nouveau
          

       3. 1
           sudo update-initramfs -u #更新
          2
           reboot
          

    4. 验证nouveau是否已禁用（没有返回信息显示，说明nouveau已被禁用）

       1
       lsmod | grep nouveau
       

    5. 安装nvidia驱动

       1
       sudo chmod a+x NVIDIA-Linux-x86\_64-xxx.xx.run #给文件赋予执行权限
       2
       sudo ./NVIDIA-Linux-x86\_64-xxx.xx.run
       

    6. 安装完毕后重启验证

       1
       nvidia-smi
       

Miniconda3安装#

1. 下载安装包Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

2. 1
    bash Miniconda3-latest-Linux-x86_64.sh #替换为所下载的sh文件名
   

3. 换源（Options）

cuda安装#

• 若使用第一中安装方式，则不需要进行此步
• 若需要手动安装，则依据CUDA Toolkit 12.6 Downloads | NVIDIA Developer进行安装

Torch安装#

• 以Start Locally | PyTorch此教程为基础进行安装
• 注意cuda版本与torch的匹配，高版本cuda可以兼容低版本，为避免问题最好与之相等
• 可以直接安装cuda然后torch在虚拟环境里面安装。我不好说跨环境引用情况

性能监控#

​sudo apt install btop​

​btop​

​pip3 install nvitop​

​nvitop -m​

环境测试#

• cuda检测

  1
  nvcc -version
  

• Nvidia 系统管理接口

  1
  nvidia-smi
  

• Torch检测

  1
  import torch
  2
  if torch.cuda.is\_available():
  3
  print("GPU is available")
  4
  else:
  5
  print("GPU is not available")
  

GPU 测试#

• Multi-GPU CUDA stress test（wilicc/gpu-burn: Multi-GPU CUDA stress test (github.com)）

  wilicc

  /

  gpu-burn
  Waiting for api.github.com...
  00K

  0K

  0K

  Waiting...

  简单压测意义也就是压测。

  可以参考这个操作 https://www.amaxchina.com/Support/TechDocument/Detail/349

• 一次性测试所有环境情况

  ​conda create test​

  ​conda activate test​

  ​mkdir test​

  ​cd test​

  ​nano testspeed.py​

  1
  import torch
  2
  import time
  3
  # 这个是娱乐局测速，没什么实际意义，但是可以测试多卡互联情况。
  4
  # 获取所有可用的GPU设备
  5
  device_count = torch.cuda.device_count()
  6
  
  7
  # 目标显存占用量
  8
  target_memory_usage_gb = 30
  9
  target_memory_usage_bytes = target_memory_usage_gb * 1024**3
  10
  
  11
  # 计算每个张量的大小（假设float32，每个元素4字节）
  12
  dtype_size_in_bytes = 4  # float32
  13
  elements_per_tensor = target_memory_usage_bytes // dtype_size_in_bytes // device_count  # 每个GPU分配部分
  14
  
  15
  # 确定张量的形状（假设为2D张量）
  16
  tensor_shape = (int(elements_per_tensor ** 0.5), int(elements_per_tensor ** 0.5))
  17
  
  18
  # 在每个GPU上创建张量，达到目标显存占用
  19
  tensors = [torch.randn(tensor_shape, dtype=torch.float32, device=f'cuda:{i}') for i in range(device_count)]
  20
  
  21
  # 开始计时
  22
  start_time = time.time()
  23
  duration = 60  # 秒
  24
  
  25
  try:
  26
      while time.time() - start_time < duration:
  27
          for i in range(device_count):
  28
              # 记录开始时间
  29
              calc_start_time = time.time()
  30
  
  31
              # 对每个GPU上的张量进行矩阵乘法，保持高计算负载
  32
              result = torch.matmul(tensors[i], tensors[i])
  33
  
  34
              # 同步操作，确保计算完成
  35
              torch.cuda.synchronize()
  36
  
  37
              # 计算时间和速度
  38
              calc_duration = time.time() - calc_start_time
  39
              num_flops = 2 * tensor_shape[0] * tensor_shape[1] * tensor_shape[1]  # 矩阵乘法 FLOPs 计算
  40
              flops_per_sec = num_flops / calc_duration / 1e12  # 转换为 TFLOPs
  41
  
  42
              print(f"GPU {i} 计算速度: {flops_per_sec:.2f} TFLOPs, 耗时: {calc_duration:.6f} 秒")
  43
  
  44
  except RuntimeError as e:
  45
      print(f"计算时遇到错误: {e}")
  46
  
  47
  print(f"计算测试完成，已运行 {duration} 秒。")
  

  ​python3 testspeed.py​

  ​nano testpower.py​

  1
  import torch
  2
  import time
  3
  import pynvml
  4
  # 这个主要是为了持续性压力测试，至于显存我没想占满。
  5
  # 初始化pynvml以监控GPU功率
  6
  pynvml.nvmlInit()
  7
  
  8
  # 获取所有可用的GPU设备
  9
  device_count = torch.cuda.device_count()
  10
  
  11
  # 目标显存占用量（记得修改这个）！
  12
  target_memory_usage_gb = 30
  13
  target_memory_usage_bytes = target_memory_usage_gb * 1024**3
  14
  
  15
  # 数据类型的字节数
  16
  dtype_size_in_bytes = 4  # float32
  17
  
  18
  # 计算每个GPU上的张量数目
  19
  num_tensors = 3  # 假设创建3个张量来达到目标显存占用
  20
  elements_per_tensor = target_memory_usage_bytes // dtype_size_in_bytes // device_count // num_tensors
  21
  
  22
  # 确定张量的形状（假设为2D张量）
  23
  tensor_shape = (int(elements_per_tensor ** 0.5), int(elements_per_tensor ** 0.5))
  24
  
  25
  # 在每个GPU上创建多个张量，达到目标显存占用
  26
  tensors = []
  27
  for i in range(device_count):
  28
      gpu_tensors = [torch.randn(tensor_shape, dtype=torch.float32, device=f'cuda:{i}') for _ in range(num_tensors)]
  29
      tensors.append(gpu_tensors)
  30
  
  31
  # 检查显存占用
  32
  for i in range(device_count):
  33
      torch.cuda.synchronize()
  34
      print(f"GPU {i} 当前显存占用: {torch.cuda.memory_allocated(i) / (1024**3):.2f} GB")
  35
  
  36
  # 开始计时
  37
  start_time = time.time()
  38
  duration = 1600  # 秒，也就是测试时间
  39
  
  40
  try:
  41
      while time.time() - start_time < duration:
  42
          elapsed_time = time.time() - start_time
  43
          remaining_time = duration - elapsed_time
  44
  
  45
          print(f"剩余时间: {remaining_time:.1f} 秒")
  46
  
  47
          for i in range(device_count):
  48
              # 获取GPU功率
  49
              handle = pynvml.nvmlDeviceGetHandleByIndex(i)
  50
              power_usage = pynvml.nvmlDeviceGetPowerUsage(handle) / 1000  # 转换为瓦特
  51
  
  52
              print(f"GPU {i} 功率: {power_usage:.2f} W")
  53
  
  54
              for tensor in tensors[i]:
  55
                  # 对每个GPU上的张量进行矩阵乘法，保持高计算负载
  56
                  result = torch.matmul(tensor, tensor)
  57
              # 确保计算完成
  58
              torch.cuda.synchronize()
  59
  
  60
          time.sleep(0.001)  # 每秒输出一次倒计时和功率
  61
  
  62
  except RuntimeError as e:
  63
      print(f"计算时遇到错误: {e}")
  64
  
  65
  print(f"计算测试完成，已运行 {duration} 秒。")
  66
  
  67
  # 释放pynvml资源
  68
  pynvml.nvmlShutdown()
  

  ​python3 testpower.py​

新遇到的问题#

• cuda runtime error (802) : system not yet initialized …/THCGeneral.cpp:50

  TIP

  （由题目自拟闯天涯实操过程中发现的问题）

  pytorch

  /

  pytorch
  Waiting for api.github.com...
  00K

  0K

  0K

  Waiting...

  该issue提供了解决方法 （CUDA 运行时错误 （802）：系统尚未初始化 …/THCGeneral.cpp：50 ·问题 #35710 ·pytorch/pytorch --- cuda runtime error (802) : system not yet initialized …/THCGeneral.cpp:50 · Issue #35710 · pytorch/pytorch）

  • 尝试编译并运行 NVIDIA/cuda-samples: Samples for CUDA Developers which demonstrates features in CUDA Toolkit
  NVIDIA

  /

  cuda-samples
  Waiting for api.github.com...
  00K

  0K

  0K

  Waiting...

  • 1
    git clone https://github.com/NVIDIA/cuda-samples.git
    2
    cd cuda-samples/Samples/bandwidthTest
    3
    make
    4
    ./bandwidthTest
    

  • NOTE

    nvcc​ is going to be located in /usr/local/cuda/bin​ 注意： nvcc 将位于 /usr/local/cuda/bin

  • 运行后结果：

    • 未安装 Data Center GPU 管理器

      • 1
        > ./bandwidthTest
        2
        [CUDA Bandwidth Test] - Starting...
        3
        Running on...
        4
        
        5
        cudaGetDeviceProperties returned 802
        6
        -> system not yet initialized
        7
        CUDA error at bandwidthTest.cu:256 code=802(cudaErrorSystemNotReady) "cudaSetDevice(currentDevice)"
        

      • 意味着未安装 Data Center GPU 管理器

      • 1
        wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
        2
        sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
        3
        sudo apt-key adv --keyserver-options http-proxy=http://proxy-chain.intel.com:911  --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
        

        • 若出现 unable to fetch （网络环境好应该不会出现

          • 1
            >  sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
            2
            Executing: /tmp/apt-key-gpghome.qjhmgicscb/gpg.1.sh --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
            3
            gpg: requesting key from 'https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub'
            4
            gpg: WARNING: unable to fetch URI https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub: Connection timed out
            

          • 那就设置代理

            1
            sudo apt-key adv --keyserver-options http-proxy=<PROXY-ADDRESS:PORT>  --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub
            

      • 然后开始安装 datacenter-gpu-manager

        1
        sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86\_64/ /"
        2
        sudo apt-get update
        3
        sudo apt-get install -y datacenter-gpu-manager
        

      • 终止主机引擎

        1
        sudo nv-hostengine -t
        

      • 启动 fabricManager

        1
        sudo service nvidia-fabricmanager start
        

        • 如果出现

          1
          > sudo service nvidia-fabricmanager start
          2
          Failed to start nvidia-fabricmanager.service: Unit nvidia-fabricmanager.service not found.
          

        • 安装 Fabric Manager并启动

          1
          sudo apt-get install cuda-drivers-fabricmanager-<version>
          2
          sudo service nvidia-fabricmanager start
          

  • 再次运行bandwidthTest​

    1
    > ./bandwidthTest
    2
    [CUDA Bandwidth Test] - Starting...
    3
    Running on...
    4
    
    5
     Device 0: NVIDIA A100-SXM4-40GB
    6
     Quick Mode
    7
    
    8
     Host to Device Bandwidth, 1 Device(s)
    9
     PINNED Memory Transfers
    10
       Transfer Size (Bytes)        Bandwidth(GB/s)
    11
       32000000                     26.1
    12
    
    13
     Device to Host Bandwidth, 1 Device(s)
    14
     PINNED Memory Transfers
    15
       Transfer Size (Bytes)        Bandwidth(GB/s)
    16
       32000000                     25.6
    17
    
    18
     Device to Device Bandwidth, 1 Device(s)
    19
     PINNED Memory Transfers
    20
       Transfer Size (Bytes)        Bandwidth(GB/s)
    21
       32000000                     1152.7
    22
    
    23
    Result = PASS
    24
    
    25
    NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.
    26
    
    27
    > ipython #torch检测
    28
    Python 3.7.11 (default, Jul 27 2021, 14:32:16)
    29
    Type 'copyright', 'credits' or 'license' for more information
    30
    IPython 7.26.0 -- An enhanced Interactive Python. Type '?' for help.
    31
    
    32
    In [1]: import torch
    33
    tor
    34
    In [2]: torch.cuda.is_available()
    35
    Out[2]: True
    

具体应用#

• ollama（已实现，详见另一篇文章）
• vllm（待实现，据说对多卡推理优化极好）

‍