Problema Training AI (Machine Learning)

[TommyB1992]

Posto qui anche se le soluzioni potrebbero essere varie e non per forza coinvolgere questa sezione.
Partendo dal presupposto che attualmente ho un portatile di fascia media e che NON posso avere un fisso perchè mi sto spostando per lavoro troppo spesso.

Quindi attualmente ho pensato a queste 2:
- Aggiungere GPU al mio portatile in qualche modo per poi riutilizzare il tutto per il machine learning e magari in futuro, staccare le GPU e riutilizzarle su un altro PC. Ha senso?
- Utilizzare un servizio di cloud, ma attualmente i prezzi mi son sembrati proibitivi o comunque non convenienti visto che li devo eseguire tutti i giorni. Esistono servizi con prezzi decenti contando un utilizzo non dico giornaliero, ma 2-3 volte a settimana 100.000.000 di dati li processo (si lo so è difficile stimare computazionalmente, ma i miei dataset non sono ne grandi come quelli per risolvere qualcosa di estremamente complesso ma neanche piccoli come quelli che si usano per gli esempi nelle varie librerie).

Grazie mille

[korda]

Posto qui anche se le soluzioni potrebbero essere varie e non per forza coinvolgere questa sezione.
Partendo dal presupposto che attualmente ho un portatile di fascia media e che NON posso avere un fisso perchè mi sto spostando per lavoro troppo spesso.

Quindi attualmente ho pensato a queste 2:
- Aggiungere GPU al mio portatile in qualche modo per poi riutilizzare il tutto per il machine learning e magari in futuro, staccare le GPU e riutilizzarle su un altro PC. Ha senso?
- Utilizzare un servizio di cloud, ma attualmente i prezzi mi son sembrati proibitivi o comunque non convenienti visto che li devo eseguire tutti i giorni. Esistono servizi con prezzi decenti contando un utilizzo non dico giornaliero, ma 2-3 volte a settimana 100.000.000 di dati li processo (si lo so è difficile stimare computazionalmente, ma i miei dataset non sono ne grandi come quelli per risolvere qualcosa di estremamente complesso ma neanche piccoli come quelli che si usano per gli esempi nelle varie librerie).

Grazie mille

Potresti contestualizzare meglio? Con quale linguaggio/framework dovresti fare machine learning? Aggiungere/rimuovere GPU (casomai schede video) è troppo generico, dal momento che librerie per AMD, Nvidia o altro sono estremamente differenti e/o implementate a seconda del linguaggio/framework che vuoi adottare.

[DoctorStrange]

Io uso quotidianamente il cloud. Per la precisione Google Cloud Platform. Uso Dataproc per il calcolo distribuito. Mi trovo benissimo, purtroppo però, i miei dataset sono invece molto piu piccoli dei tuoi. Cento milioni sono una cifra abbastanza sostenuta, ti consiglierei strumenti appositamente concepitoii per il Big Data. Scala come linguaggio e Spark come framework, dovresti cavartela. Appoggio quanto detto da korda. Specifica meglio quale tipo di elaborazione devi faree, magari non hai bisogno di addestrae un nuovo algoritmo di machine learning, ti basta una buona pipeline. Il costo è sempre di tipo orario, quindi dipende fortemente da quanto impiega a completare l'elaborazione. Due volte a settimana mi sembra una stima ragionevole per un'istanza in cloud. Magari sscegli un cluser carrozzato, ottimizzato per la ram, perche Spark è un in-memory e potresti cavartela con meno di quanto tu non creda.

[TommyB1992]

Potresti contestualizzare meglio? Con quale linguaggio/framework dovresti fare machine learning? Aggiungere/rimuovere GPU (casomai schede video) è troppo generico, dal momento che librerie per AMD, Nvidia o altro sono estremamente differenti e/o implementate a seconda del linguaggio/framework che vuoi adottare.

Ciao, utilizzo Python con Keras e TensorFlow

Io uso quotidianamente il cloud. Per la precisione Google Cloud Platform. Uso Dataproc per il calcolo distribuito. Mi trovo benissimo, purtroppo però, i miei dataset sono invece molto piu piccoli dei tuoi. Cento milioni sono una cifra abbastanza sostenuta, ti consiglierei strumenti appositamente concepitoii per il Big Data. Scala come linguaggio e Spark come framework, dovresti cavartela. Appoggio quanto detto da korda. Specifica meglio quale tipo di elaborazione devi faree, magari non hai bisogno di addestrae un nuovo algoritmo di machine learning, ti basta una buona pipeline. Il costo è sempre di tipo orario, quindi dipende fortemente da quanto impiega a completare l'elaborazione. Due volte a settimana mi sembra una stima ragionevole per un'istanza in cloud. Magari sscegli un cluser carrozzato, ottimizzato per la ram, perche Spark è un in-memory e potresti cavartela con meno di quanto tu non creda.

No devo proprio fare il training. Ottimizzo già in locale tutto il processo partendo dal presupposto che ho poche risorse.
Sfortunatamente non sono molto ferrato sulla parte hardware perciò non saprei neanche come scegliere cosa in base all'architettura sviluppata.