Ultima domanda su Pyspark

2
Answers

Come concatenare due colonne in Pyspark ma influire sull'ordine in cui vengono concatenate le singole righe?

Ho un data frame pyspark che assomiglia all'esempio qui sotto, ignorando la colonna chiamata nome, è ciò di cui ho bisogno per creare dalle colonne lato 1 e lato 2. Il problema è che il nome deve essere lo stesso indipendentemente se il lato 1 contiene A e il lato 2 B o il lato 1 B e il lato 2 A; il risultato finale deve essere A/B quindi semplicemente concedere le due colonne non funziona perché i nomi apparirebbero diversi A/B -B/A. Devo fare un groupby più in basso sulla riga usando la colonna del nome, motivo per cui ho bisogno che i nomi si riflettano correttamente. Qualcuno potrebbe indicarmi un modo che posso usare per farlo.

concatenation pyspark

0
Answer

Visualizzazione di Markdown con pyspark

Ho due colonne nel mio dataframe con più valori univoci (etnia, stato) e desidero vedere i valori con l'occorrenza più alta e visualizzarli in modo ordinato. Fondamentalmente per assomigliare a: leastFreqEthnicity (occorrenze) MostFreqEthnicity (occorrenze), leastFreqStatus (occorrenze), mostFreqStatus (occorrenze)

markdown pyspark

Hot Tags

© 2021   Risposta.org