Niestety, ta okazja wygasła 4 minuty temu.
1149°
Opublikowano 14 lutego 2024
NVIDIA Chat with RTX - chatbot AI od nVidia
Opublikowane przez
Tenfilip
Dołączył w 2019
16
1 349
O tej okazji
Ta okazja już wygasła. Oto kilka opcji, które mogą Cię zainteresować:
Chat bot AI od nVidia, dzialajacy lokalnie. Za darmo uczciwa cena - szukalem czegos do uzywania lokalnie, ale wiekszosc rzeczy byla dosc skomplikowana w instalacji. Tutaj powinno byc prosciej. Brak API z tego co widze, ale do interakcji z uzytkownikiem jest spoko interfejs. Przeglada lokalne pliki uzytkownika, analizuje filmy z youtube etc O ILE UZYTKOWNIK MU TO LITERALNIE KAZE TO ZROBIC MIRKI.
Sam nie moge sie doczekac jak bede mial czas to sprawdzic:
Uwagi:
- wymaga nVidia RTX 30xx/40xx z 8 GB vram i aktualny sterownik na Win10/11
- paczka instalacyjna to 35 GB, po rozpakowaniu 38,3, po zainstalowaniu 58.
- zawiera modele Llama 13B INT4 i Mistral 7B INT4
Uwagi praktyczne:
Instalator ma jakis zrabany system wybierania katalogu do instalacji, dlatego dobrze zrobic katalog zanim ja odpalimy - pozniej nie widzi.
W moim przypadku, trzeba uzyc standardowego katalogu, i odpalic instalke po restarcie komputera. Z tego co czytalem cala instalcja moze trwac godzine, zalezy pewnie od komputera. U mnie na starym kompie (8700k) trwalo to jakies 25 minut.
Obecnie sypie jakimis bledami pyhtona przy odpalaniu (NIE ZNALEZIONO PUNKTU WEJŚCIA PROCEDURY), ale dziala
Sam nie moge sie doczekac jak bede mial czas to sprawdzic:
Uwagi:
- wymaga nVidia RTX 30xx/40xx z 8 GB vram i aktualny sterownik na Win10/11
- paczka instalacyjna to 35 GB, po rozpakowaniu 38,3, po zainstalowaniu 58.
- zawiera modele Llama 13B INT4 i Mistral 7B INT4
Uwagi praktyczne:
Obecnie sypie jakimis bledami pyhtona przy odpalaniu (NIE ZNALEZIONO PUNKTU WEJŚCIA PROCEDURY), ale dziala
Więcej szczegółów na Aktualizacje społecznościowe
228 Komentarzy
sortowanie:- Czyli szpieg na całego... Po co to to?
Fajno.
zaraz, zaraz...
Jak już klepiesz na klawiaturze to przynajmniej coś wartościowego, zamiast spamu (Edytowano)
Llama 7B to kilkanaście GB danych. Ile ściągnęła ta appka?
Modele LLM mają pewne wymagania obliczeniowe, ale przede wszystkim: pamięciowe. Nie oczekuj, że jakaś mała appka udzieli Ci sensownych odpowiedzi bez kontaktu z serwerem.
github.com/oob…759
Generalnie kartę AMD do AI odpalisz tylko pod linuxem aby to jako tako działało. nvidia i ich cuda, ha-tfu.
https://pinokio.computer/
Lm studio
Jest dużo podobnych darmowych
Istnieją wersje douczone na polskich zbiorach ale to nie to samo co model robiony od podstaw pod dany język. (Edytowano)
Update:
Nie działa na polskich znakach w folderach. RAG działa w porządku, także do szybkich i prostych rozmów z dokumentami to bestia narzędzie będzie (Edytowano)