localAI: 编译步骤说明

懒人通道

官网提供了懒人包，使用的时候不需要关注整个打包流程，，下面是官方的cuda示例，当然官方提供可选项很多，Available: cublas, openblas, clblas, metal,hipblas, sycl_f16, sycl_f32
docker中gpu使用方法https://localai.io/features/gpu-acceleration/，如果你需要使用其他加速设备，就需要手动编译这个项目了，官方提供了各种系统的编译方法https://localai.io/basics/build/#Acceleration
Ps:对于只需要部分功能的人来说，懒人包占用60G的空间，让我们有点寒暄

介绍

下面在介绍编译之前，我们先了解下LocalAi的架构
LocalAI这个项目架构集成了各种语言（C++，Golang，Python等）通过编写一套GRPC实现不同模型加速服务接入。 LocalAI 的所有组件可在 模型兼容性表查看
Oh, and let’s not forget the real MVP here—llama.cpp. Without this extraordinary piece of software, LocalAI wouldn’t even exist. So, a big shoutout to the community for making this magic happen!

Ps: 好奇怪的画风^(^

GPU设备

LocalAi官方提供可选项很多，比如: cublas, openblas, clblas, metal,hipblas, sycl_f16, sycl_f32，这些设备的支持方法你可以在这个页面找到https://localai.io/basics/build/#Acceleration

环境配置

LocalAI由于提供了Dockerfile,一些环境配置可以参考DockerFile，需要注意的是，如果你在本地安装，C++编译器的版本请自行确认，不同系统有所不同
如果你选用了docker环境编译，那么你需要注意，本地的gpu设备载入配置，同样不同的gpu设备载入方式也不太相同，这里选用nvidia设备
1、提前安装好docker-nvidia桥接依赖，一些错误的解决方法https://github.com/NVIDIA/nvidia-docker/issues/1243
2、配置docker-compose文件

version: '3.6'

services:
  localai_cuda:
    image: quay.io/go-skynet/local-ai:master-cublas-cuda12
    build:
      context: .
      dockerfile: Dockerfile
    ports:
      - 8080:8080
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu] 
    environment:
      - BUILD_TYPE=cublas
      - DEBUG=true
      - MODELS_PATH=/models
      - 'NVIDIA_VISIBLE_DEVICES=all'
      - 'CUDA_VISIBLE_DEVICES=all'
      - 'CUDA_DEVICE_POOL_GPU_OVERRIDE=1'
    env_file:
      - .env
    volumes:
      - ./models:/models:cached
      - ./images/:/tmp/generated/images/
    command: ["/usr/bin/local-ai" ]

3、在运行前，docker启动容器报错 Unknown runtime specified nvidia.这个错误出现，说明你没有配置runtime，参考https://www.cnblogs.com/luckforefforts/p/13642682.html
4、修改国内的ubuntu源，在Dockerfile合适的位置增加下面两行

RUN sed -i 's/http:\/\/archive.ubuntu.com/http:\/\/mirrors.tuna.tsinghua.edu.cn\/ubuntu/g' /etc/apt/sources.list

RUN apt-get clean

5、修改.env变量BUILD_TYPE值为cublas，说明见https://localai.io/basics/build/#Acceleration
6、执行编译 docker-compose up --build