Posto qui anche se le soluzioni potrebbero essere varie e non per forza coinvolgere questa sezione.
Partendo dal presupposto che attualmente ho un portatile di fascia media e che NON posso avere un fisso perchè mi sto spostando per lavoro troppo spesso.
Quindi attualmente ho pensato a queste 2:
- Aggiungere GPU al mio portatile in qualche modo per poi riutilizzare il tutto per il machine learning e magari in futuro, staccare le GPU e riutilizzarle su un altro PC. Ha senso?
- Utilizzare un servizio di cloud, ma attualmente i prezzi mi son sembrati proibitivi o comunque non convenienti visto che li devo eseguire tutti i giorni. Esistono servizi con prezzi decenti contando un utilizzo non dico giornaliero, ma 2-3 volte a settimana 100.000.000 di dati li processo (si lo so è difficile stimare computazionalmente, ma i miei dataset non sono ne grandi come quelli per risolvere qualcosa di estremamente complesso ma neanche piccoli come quelli che si usano per gli esempi nelle varie librerie).
Grazie mille
Problema Training AI (Machine Learning)
-
- Scoppiettante Seguace
- Messaggi: 857
- Iscrizione: domenica 7 luglio 2013, 15:55
- Desktop: GNU/Linux
- Distribuzione: Ubuntu 22.04.2 LTS
- Sesso: Maschile
Re: Problema Training AI (Machine Learning)
Potresti contestualizzare meglio? Con quale linguaggio/framework dovresti fare machine learning? Aggiungere/rimuovere GPU (casomai schede video) è troppo generico, dal momento che librerie per AMD, Nvidia o altro sono estremamente differenti e/o implementate a seconda del linguaggio/framework che vuoi adottare.TommyB1992 ha scritto: ↑martedì 1 novembre 2022, 2:59Posto qui anche se le soluzioni potrebbero essere varie e non per forza coinvolgere questa sezione.
Partendo dal presupposto che attualmente ho un portatile di fascia media e che NON posso avere un fisso perchè mi sto spostando per lavoro troppo spesso.
Quindi attualmente ho pensato a queste 2:
- Aggiungere GPU al mio portatile in qualche modo per poi riutilizzare il tutto per il machine learning e magari in futuro, staccare le GPU e riutilizzarle su un altro PC. Ha senso?
- Utilizzare un servizio di cloud, ma attualmente i prezzi mi son sembrati proibitivi o comunque non convenienti visto che li devo eseguire tutti i giorni. Esistono servizi con prezzi decenti contando un utilizzo non dico giornaliero, ma 2-3 volte a settimana 100.000.000 di dati li processo (si lo so è difficile stimare computazionalmente, ma i miei dataset non sono ne grandi come quelli per risolvere qualcosa di estremamente complesso ma neanche piccoli come quelli che si usano per gli esempi nelle varie librerie).
Grazie mille
Io non sono Bagheera né Akela, io non frequento la Rupe.
Io sono Kaa: faccio ballare le scimmie alle Tane Fredde.
Io sono Kaa: faccio ballare le scimmie alle Tane Fredde.
- DoctorStrange
- Imperturbabile Insigne
- Messaggi: 2872
- Iscrizione: mercoledì 14 ottobre 2015, 9:33
- Desktop: Gnome3
- Distribuzione: Ubuntu 22.04 LTS Jammy Jellyfish
- Sesso: Maschile
- Località: Roma, Italia
Re: Problema Training AI (Machine Learning)
Io uso quotidianamente il cloud. Per la precisione Google Cloud Platform. Uso Dataproc per il calcolo distribuito. Mi trovo benissimo, purtroppo però, i miei dataset sono invece molto piu piccoli dei tuoi. Cento milioni sono una cifra abbastanza sostenuta, ti consiglierei strumenti appositamente concepitoii per il Big Data. Scala come linguaggio e Spark come framework, dovresti cavartela. Appoggio quanto detto da korda. Specifica meglio quale tipo di elaborazione devi faree, magari non hai bisogno di addestrae un nuovo algoritmo di machine learning, ti basta una buona pipeline. Il costo è sempre di tipo orario, quindi dipende fortemente da quanto impiega a completare l'elaborazione. Due volte a settimana mi sembra una stima ragionevole per un'istanza in cloud. Magari sscegli un cluser carrozzato, ottimizzato per la ram, perche Spark è un in-memory e potresti cavartela con meno di quanto tu non creda.
-
- Scoppiettante Seguace
- Messaggi: 857
- Iscrizione: domenica 7 luglio 2013, 15:55
- Desktop: GNU/Linux
- Distribuzione: Ubuntu 22.04.2 LTS
- Sesso: Maschile
Re: Problema Training AI (Machine Learning)
Ciao, utilizzo Python con Keras e TensorFlowkorda ha scritto: ↑mercoledì 9 novembre 2022, 17:10Potresti contestualizzare meglio? Con quale linguaggio/framework dovresti fare machine learning? Aggiungere/rimuovere GPU (casomai schede video) è troppo generico, dal momento che librerie per AMD, Nvidia o altro sono estremamente differenti e/o implementate a seconda del linguaggio/framework che vuoi adottare.
No devo proprio fare il training. Ottimizzo già in locale tutto il processo partendo dal presupposto che ho poche risorse.DoctorStrange ha scritto: ↑giovedì 10 novembre 2022, 16:21Io uso quotidianamente il cloud. Per la precisione Google Cloud Platform. Uso Dataproc per il calcolo distribuito. Mi trovo benissimo, purtroppo però, i miei dataset sono invece molto piu piccoli dei tuoi. Cento milioni sono una cifra abbastanza sostenuta, ti consiglierei strumenti appositamente concepitoii per il Big Data. Scala come linguaggio e Spark come framework, dovresti cavartela. Appoggio quanto detto da korda. Specifica meglio quale tipo di elaborazione devi faree, magari non hai bisogno di addestrae un nuovo algoritmo di machine learning, ti basta una buona pipeline. Il costo è sempre di tipo orario, quindi dipende fortemente da quanto impiega a completare l'elaborazione. Due volte a settimana mi sembra una stima ragionevole per un'istanza in cloud. Magari sscegli un cluser carrozzato, ottimizzato per la ram, perche Spark è un in-memory e potresti cavartela con meno di quanto tu non creda.
Sfortunatamente non sono molto ferrato sulla parte hardware perciò non saprei neanche come scegliere cosa in base all'architettura sviluppata.
Chi c’è in linea
Visualizzano questa sezione: 0 utenti iscritti e 16 ospiti