[AI/Git] 레시피 추천 모델 만들기 10 - clone 한 레포 git push 부터 대용량 파일 push 까지

 

 

git push 를 위해 해결한 오류 리스트

pack exceeds maximum allowed size (2.00 GiB)

The requested URL returned error: 403

ModuleNotFoundError: No module named 'torch_sparse'

this exceeds GitHub's file size limit of 100.00 MB

 

 

어느덧 NGCF 기반 (모델이 알아서 해준거지만) 추천을 받을 수 있게 되었다

2024.10.30 - [AI] - [AI] 레시피 추천 모델 만들기 9 - Inference (3) 정리

[AI] 레시피 추천 모델 만들기 9 - Inference (3) 정리

 

---

이제 깃허브에 올려서 연동 연동 .. 이전 코드에 연동해서 .. 완벽한 시스템을 구축하기만 하면 되는데 .. 

remote: fatal: pack exceeds maximum allowed size (2.00 GiB) Writing objects: 87% (10455/11921), 2.00 GiB | 1.09 MiB/s fatal: sha1 file '<stdout>' write error: Broken pipe error: remote unpack failed: index-pack failed error: failed to push some refs to 'github.com:Bab-Al/Babal-Server.git' To github.com:Bab-Al/Babal-Server.git ! refs/heads/feat/32-recbole:refs/heads/feat/32-recbole [remote rejected] (failed)

 

엥? 😮...

 

가만히 보고 있으면 뭐 어쩌겠니 해결을 하러 가자

 

1. venv 파일을 올리면 안된다!

사실 그 이후에 엄청난 commit 을 한 건 아니라서 commit 기록을 지웠다 (되돌렸다?)

 

💡 최근 commit 하나만 되돌리는 법 : git reset --soft HEAD^

 

(+) .gitignore 에 /venv/ 파일을 추가해줬다

 

---

전 이제 잘 될 줄 알았어요

Push partially failed Babal-Server: Everything is up to date RecBole: remote: Permission to Bab-Al/Babal-Server.git denied to alsrudursla. unable to access 'https://github.com/Bab-Al/Babal-Server.git/': The requested URL returned error: 403 RecBole-GNN: remote: Permission to Bab-Al/Babal-Server.git denied to alsrudursla. unable to access 'https://github.com/Bab-Al/Babal-Server.git/': The requested URL returned error: 403

 

RecBole Repository 를 Clone 했더니 뭐가 딸려온다

아뇨 저는 RecBole 에 제 플젝을 반영하려는 게 아닌데 ..

 

그래서 연결되어 있는 레포를 바꿔줬는데

 

💡

현재 연결된 레포 확인하기 : git remote -v

연결 레포 변경 (주소) : git remote set-url origin https://github.com/Bab-AI/Babal-Server.git

연결 레포 변경 (SSL) : git remote set-url origin git@github.com:Bab-AI/Babal-Server.git

 

근데도 해결이 잘 안됐다

 

---

아예 RecBole 계정과의 연결을 끊고 싶어서 복사해서 새로 붙였더니 복사한 폴더는 연결이 끊어졌다

그랬더니 모델 훈련하려고 설정해놓았던 환경도 같이 사라졌다

사라졌다기 보단.. 아뇨 사라진 게 맞아요 없어졌어요 내가 이걸 얼마나 머리 뜯으면서 했는데

 

유추해보건데 처음에 나는 recbole 을 사용하기 위해 clone 하는 방법을 썼었는데

>> git clone https://github.com/RUCAIBox/RecBole.git

>> pip install -e . --verbose

 

clone 을 취소하니 recbole 도 사라졌다

그렇지만 이건 그냥 pip install recbole 로 쉽게 해결할 수 있었다

 

암튼 또 modulenotfound 이런 거 떠서 환장하는 줄 알았다

Traceback (most recent call last): File "C:\Users\alsrud\Downloads\Babal-Server\Babal-Server\RecBole_Sys\RecBole-GNN\run_inference.py", line 17, in <module> config, model, dataset, train_data, valid_data, test_data = load_data_and_model(args.model_path) File "C:\Users\alsrud\AppData\Local\Programs\Python\Python39\lib\site-packages\recbole\quick_start\quick_start.py", line 250, in load_data_and_model checkpoint = torch.load(model_file) File "C:\Users\alsrud\AppData\Local\Programs\Python\Python39\lib\site-packages\torch\serialization.py", line 1360, in load return _load( File "C:\Users\alsrud\AppData\Local\Programs\Python\Python39\lib\site-packages\torch\serialization.py", line 1848, in _load result = unpickler.load() File "C:\Users\alsrud\AppData\Local\Programs\Python\Python39\lib\site-packages\torch\serialization.py", line 1837, in find_class return super().find_class(mod_name, name) File "C:\Users\alsrud\Downloads\Babal-Server\Babal-Server\RecBole_Sys\RecBole-GNN\recbole_gnn\model\general_recommender\__init__.py", line 1, in <module> from recbole_gnn.model.general_recommender.lightgcn import LightGCN File "C:\Users\alsrud\Downloads\Babal-Server\Babal-Server\RecBole_Sys\RecBole-GNN\recbole_gnn\model\general_recommender\lightgcn.py", line 23, in <module> from recbole_gnn.model.layers import LightGCNConv File "C:\Users\alsrud\Downloads\Babal-Server\Babal-Server\RecBole_Sys\RecBole-GNN\recbole_gnn\model\layers.py", line 5, in <module> from torch_sparse import matmul ModuleNotFoundError: No module named 'torch_sparse'

 

내가 썼던 거 다시 보고..

2024.09.13 - [ERROR] - [PyTorch] Could not find a version that satisfies the requirement torch>=1.10.0 (from recbole) (from versions: none)

[PyTorch] Could not find a version that satisfies the requirement torch>=1.10.0 (from recbole) (from versions: none)

2024.10.15 - [ERROR] - [PyTorch/CUDA] error: subprocess-exited-with-error ~ ModuleNotFoundError: No module named 'torch'

[PyTorch/CUDA] error: subprocess-exited-with-error ~ ModuleNotFoundError: No module named 'torch'

 

여차저차 내 블로그 읽으며 이미 있는 모듈 가지고 ModuleNotFound 라 하는 오류는 해결했다

>> pip install -r requirements.txt

필요한 dependency 설치해주고, 내 cuda 랑 driver 에 맞는 버전으로 바꿔줬다

 

---

그런데 아직도 용량이 크단다

제가 venv 파일도 지워줬잖아요 ~

recbole 폴더도 새로 만들어주고..

remote: error: File RecBole_Sys/saved/NGCF-Oct-16-2024_19-14-27.pth is 783.38 MB; this exceeds GitHub's file size limit of 100.00 MB

 

아 이거 모델 훈련한 결과 파일이어서 추론받을 때 필요한 건데..

gitignore 에서 제외시킨 이유가 있었구나 ㅎ^ㅎ

 

💡 용량 큰 파일 git push 하는 방법 : git lfs 사용하기

# Git LFS 초기화 (한 번만 실행) git lfs install # 큰 파일을 LFS로 추적 git lfs track "RecBole_Sys/saved/NGCF-Oct-16-2024_19-14-27.pth" # 변경 사항 커밋 git add .gitattributes git add RecBole_Sys/saved/NGCF-Oct-16-2024_19-14-27.pth git commit -m "Track large files with Git LFS" # 다시 푸시 git push origin feat/32-recbole

 

나는 넣으려는 파일이 이미 gitignore 에 등록되어 있어서

git add -f 명령어로 적용했다

 

push 는 성공 !

(+) food dataset 도 용량이 커서 lfs 로 push 해줬다