오픈소스 모델 프로젝트를 로컬에서 실행하기
이 페이지를 사용하여 추출한 오픈소스 모델 프로젝트 중 하나를 실행할 수 있습니다. 하나는 브라우저에 Transformers.js 모델을 로드하고, 다른 하나는 컴퓨터의 Ollama를 호출하는 Express 서버를 실행합니다. 어떤 프로젝트가 있는지 확인한 다음, 해당 설정만 따르세요.
먼저 필요한 것들
지원되는 LTS 버전의 Node.js를 설치하세요. Node 24를 권장하며 npm이 포함되어 있습니다. Node와 npm이 처음이라면 코드를 로컬에서 실행하기에서 설치 및 확인 방법을 안내합니다.
Transformers.js 프로젝트는 현재 버전의 브라우저, 첫 라이브러리와 모델 다운로드를 위한 인터넷 연결, 모델을 위한 충분한 브라우저 저장소와 메모리가 필요합니다. API 키는 필요하지 않습니다.
Ollama 프로젝트는 Ollama와 mistral 모델을 위한 충분한 디스크 공간 및 메모리, 그리고 실행 중인 로컬 Ollama 서비스가 필요합니다. 제공자 계정이나 API 키는 필요하지 않습니다.
추출한 프로젝트 확인하기
package.json이 있는 추출한 폴더에서 터미널을 열세요:
$ cd path-to-your-downloaded-project폴더 이름이 어떤 강의를 추출했는지 말해주지 않으면 index.js를 여세요. express import는 아래의 패키지 수정이 필요한 Ollama 강의를 의미하고, Transformers.js import는 그대로 실행되는 브라우저 앱을 의미합니다.
package.json 옆에서 터미널을 열세요. 요리를 시작하기 전에 주방에 서 있는 것처럼요. 브라우저 모델 프로젝트는 Transformers.js 섹션을 따르고, Express 서버는 Ollama 섹션을 따릅니다. 저는 한 번 전체 설정을 한 폴더 위에서 실행했던 적이 있으니 먼저 어디에 있는지 확인하세요. Transformers.js 프로젝트 실행하기
Transformers.js를 사용한 브라우저 기반 AI 모델 강의에 이 지침을 사용하세요. 이 프로젝트는 Vite를 위해 Node와 npm이 필요합니다.
설치하고 시작하세요:
$ npm install
$ npm startVite가 출력하는 Local URL을 열어 보세요. 보통 http://localhost:5173/입니다. 페이지는 먼저 jsDelivr에서 Transformers.js를 가져온 다음 Xenova/yolos-tiny 객체 감지 모델을 다운로드합니다. 상태가 **Loading model...**에서 Ready로 변할 때까지 기다렸다가 Detect Objects를 선택하세요.
첫 번째 로드는 인터넷 연결이 필요하고 일반 프론트엔드 페이지보다 오래 걸릴 수 있습니다. 이후 로드는 브라우저 캐시에서 가져옵니다. 상태가 Ready에 도달하지 않으면 DevTools Network 탭을 열어 보세요. 차단된 jsDelivr 요청은 CDN이나 콘텐츠 차단 문제를 나타내고, 천천히 커지는 모델 파일은 가중치 다운로드가 진행 중임을 의미합니다. Ctrl+C로 Vite를 중지하세요.
제공자 자격증명이 필요하지 않습니다
모델은 호스팅 추론 API를 통하지 않고 브라우저에서 실행됩니다. 이 강의에서 설정할 .env 파일이나 API 키가 없습니다.
npm install을 실행한 다음 npm start를 실행하고, Local URL을 열어 상태가 Ready에 도달할 때까지 기다린 후 무엇이든 선택하세요. 첫 번째 모델 다운로드는 이사하는 것과 같습니다. 한 번은 느리지만 끝입니다. 저는 항상 일찍 클릭하고 뭔가 깨뜨린 줄 알곤 했으니 시간을 가지세요. Ollama 프로젝트 수정 및 실행하기
컴퓨터에서 AI 모델 다운로드 및 실행(Ollama 사용) 강의에 이 지침을 사용하세요. 내보낸 ZIP에는 강의의 Node 코드가 포함되어 있지만, 생성된 package.json은 여전히 Vite 프로젝트를 설명합니다. 작은 패키지 수정 없이는 로컬에서 실행할 수 없습니다.
Ollama를 설치한 후 로컬 서비스가 실행 중인지 확인하세요. 강의 코드에서 지정한 모델을 다운로드하세요:
$ ollama pull mistral
$ ollama ls두 번째 명령은 mistral을 나열해야 합니다. 운영 체제에 따라 Ollama 애플리케이션을 열면 서비스가 자동으로 시작됩니다. 그렇지 않으면 별도의 터미널에서 ollama serve를 실행하고 실행 상태로 두세요.
추출한 프로젝트에서 package.json에 "type": "module"을 최상위 속성으로 추가하세요. "scripts"와 형제 관계입니다:
{
"type": "module",
"scripts": {
"start": "vite"
}
}그 다음 시작 스크립트를 다음에서:
"start": "vite"다음으로 변경하세요:
"start": "node index.js"index.js에서 가져온 두 가지 의존성을 설치하세요:
$ npm install express ollama
$ npm start서버는 다음을 출력합니다:
Server is running on port 3000모델을 호출하지 않고 라우트를 테스트하세요:
http://localhost:3000/question 매개변수를 제공하라고 요청합니다. 그 다음 실제 로컬 모델 요청을 시도하세요:
http://localhost:3000/?question=Why%20is%20the%20sky%20blue%3FExpress 서버는 Ollama가 모델을 로드하고 회신을 생성할 때까지 대기합니다. 첫 번째 응답은 눈에 띄게 느릴 수 있습니다. Ctrl+C로 Express를 중지하세요. 더 이상 필요하지 않으면 Ctrl+C로 별도로 시작한 ollama serve 프로세스를 중지하세요.
두 프로젝트 모두에 제공자 API 키나 .env 파일이 필요하지 않습니다. 모델 가중치와 추론은 Ollama를 실행하는 머신에 남아 있습니다. 강의의 호스팅 모델 프로젝트는 다르게 작동합니다. 에이전트를 로컬에서 실행하기에서 필요한 키와 .env 설정을 보여줍니다.
mistral 모델을 가져오고, Ollama를 계속 실행하고, package.json을 수정하세요. 모듈 타입을 추가하고 시작 스크립트를 node index.js로 지정하세요. express와 ollama를 설치하고, 서버를 시작하고, 포트 3000에서 질문을 제기하세요. 느린 첫 번째 답변은 모델이 로드 중이라는 뜻이지, 뭔가 깨진 것이 아닙니다. 처음에 누군가 이렇게 말해 줬으면 좋았을 텐데요. 문제 해결
Transformers.js 페이지가 Loading model...에 머물러 있습니다: 브라우저 콘솔과 네트워크 연결을 확인하세요. 콘텐츠 차단기나 제한된 네트워크가 jsDelivr 또는 모델 다운로드를 차단할 수 있습니다. 충분한 여유 저장소와 메모리가 있는 현재 브라우저를 시도해 보세요.
Ollama 프로젝트에서 Cannot find package 'express' 또는 'ollama'라고 말합니다: package.json이 있는 폴더에서 npm install express ollama를 실행하세요.
Node가 Cannot use import statement outside a module이라고 말합니다: package.json에 "type": "module"을 추가하세요.
npm start가 Vite를 시작하거나 누락된 index.html에 대해 불평합니다: 시작 스크립트를 node index.js로 변경하세요. Ollama 강의는 Vite 페이지가 아니라 Node 서버입니다.
라우트가 Ollama에 연결할 수 없습니다: Ollama 애플리케이션 또는 ollama serve가 실행 중인지 확인한 다음 ollama ls를 사용하여 mistral 모델이 설치되었는지 확인하세요.
포트 3000이 이미 사용 중입니다: 다른 프로세스를 중지하거나 index.js의 port 상수를 변경하고, Express를 다시 시작한 다음 일치하는 URL을 열어 보세요.