Как применить функцию к текстовому файлу в pyspark? - PullRequest
Новая
       4

Как применить функцию к текстовому файлу в pyspark?

0 голосов
/ 27 февраля 2020

У меня есть текстовый файл, который «зашифрован» с помощью шифра Цезаря, и я выполнил некоторую обработку на нем. Я запутался в том, как запустить текстовый файл через функцию, я попытался поиграть с несколькими вариантами чего-то вроде newRDD=textFile.map(lambda word: myFunction(word,intVal)). Функция возвращает текст, переданный с выполненным переводом. Затем я сохраняю newRDD как текстовый файл, но к нему не применяются никакие изменения. Как мне на самом деле применить функцию? Код: 

def caesar(someText, shiftVal):
    normalAlphabet="abcdefghijklmnopqrstuvwxyz"
    shiftedAlphabet=""
    count=0
    for elem in normalAlphabet:

        tempchr=chr(ord(elem)+shiftVal)

        if ord(tempchr)>122:
          tmpInt=ord(tempchr)-122
          tempchr=chr(96+tmpInt)

        shiftedAlphabet=shiftedAlphabet+tempchr
        count+=1

    table=str.maketrans(normalAlphabet,shiftedAlphabet)
    return someText.translate(table)

finalAnsw=encrypted.map(lambda word: caesar(word,disFromE))
...