Как разобрать файл JSON, над которым ведется работа в Голанге - PullRequest
Новая
       16

Как разобрать файл JSON, над которым ведется работа в Голанге

0 голосов
/ 02 декабря 2018

У меня есть файл с JSON в этом формате: 

[{
    "id": "1055972353245622272",
    "lang": "und",
    "date": "Sat Oct 27 00:00:02 +0000 2018",
    "text": "#BTC 6474 346 0 08 #ETH 203 317 0 13 #XRP 0 459 0 04 #BCH 438 922 0 0 #EOS 5 388 0 12 #XLM 0 235 0 41 #LTC 52 106 0 03 #ADA 0 074 0 17 #USDT 0 99 0 07 #XMR 105 022 0 13 #TRX 0 024 0 21 "
},
{
    "id": "1055972355506401280",
    "lang": "en",
    "date": "Sat Oct 27 00:00:03 +0000 2018",
    "text": "Don t want to miss any of our public #crypto trading #signals Want instant updates of our premium channel #performance Searching for #crypto news Get instantly notified on our public telegram channel Join now at https t co akfmLiArya #DGB #SC #MFT #EOS #XVG #BTC #TRX https t co HT2RAOIjfh"
},

Этот файл обрабатывается program1 через случайные интервалы (когда обнаружен твит, соответствующий фильтру).Я хочу прочитать этот файл program2 - за 5 минут.Но я не в состоянии.

Немаршалинг (json.Unmarshal(file, &data)) не позволяет мне его прочитать - он выдает ошибку, так как JSON неверен.

Я не хочу переделывать архитектуру с использованием БД, я хочу иметь возможность работать с файлами, как предполагалось.

Как я могу получить доступ к файлам и проанализировать их как JSON?

EDIT1: обходной путь с чтением файла и закрытием JSON 

file, _ := ioutil.ReadFile(fileName)
closingJson := "{}]"
file = append(file, closingJson...)
json.Unmarshal(file, &data)

1 Ответ

0 голосов
/ 02 декабря 2018

Вам просто нужно обработать его как поток JSON :

https://play.golang.org/p/6drcizYKrrJ

    type Message struct {
      Id   string `json:"id"`
      Lang string `json:"lang"`
      Date string `json:"date"`
      Text string `json:"text"`
    }

    jsonStream, err := os.Open(`/tmp/json`)
    if err != nil {
        panic(err)
    }

    dec := json.NewDecoder(jsonStream)

    // read open bracket
    _, err := dec.Token()
    if err != nil {
      log.Fatal(err)
    }

    // while the array contains values
    for dec.More() {
      var m Message
      // decode an array value (Message)
      err := dec.Decode(&m)
      if err == nil {
        fmt.Printf("%v : %v : %v : %v\n", m.Id, m.Lang, m.Date, m.Text)
      } else {
        // wait for more contents - sleep?  use a channel and wait to be notified?
      }

    }
...