项目介绍
AnythingLLM 是一个开源项目,旨在帮助开发者和组织通过简单的界面和工具集成大型语言模型(LLM)到他们的应用程序中。该项目简化了与LLM的交互,使开发者能够更容易地利用这些强大的模型来构建智能应用,例如聊天机器人、内容生成工具和自动化任务处理系统。通过使用AnythingLLM,开发者可以专注于应用逻辑和用户体验,而不必深入了解复杂的模型训练和优化过程。https://anythingllm.com
github url https://github.com/Mintplex-Labs/anything-llm/tree/master
搭建过程
准备尝试docker部署的,但查看还需要配置环境变量,要花点时间。
update: 2024.08.22
终于搭建好了,原来需要自己在host中创建anyllm.db文件才可以(并且要注意给与写权限),本来一直以为镜像会有创建这一步,但实际没有。
并且还需要配置env文件参数:
注意:前4项是必须的,而具体的llm参数配置根据Provider需要的参数设置,为了测试docker容器是否成功,key值可以先乱写。等之后启动完成后,再修改。(全部env配置见https://github.com/Mintplex-Labs/anything-llm/blob/master/docker/.env.example)
SERVER_PORT=3001
STORAGE_DIR="/app/server/storage"
UID='1000'
GID='1000'
LLM_PROVIDER='openai'
OPEN_AI_KEY=xxxxxxxxxxxxxxxxxx
PEN_MODEL_PREF='gpt-4o'
EMBEDDING_ENGINE='openai'
OPEN_AI_KEY=sk-xxxx
EMBEDDING_MODEL_PREF='text-embedding-ada-002'
做完以上步骤,再执行command 就应该能正常启动。
export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server