S3 Проблемы с загрузкой / выгрузкой - PullRequest
Новая
       31

S3 Проблемы с загрузкой / выгрузкой

0 голосов
/ 15 июня 2019

Я пытаюсь создать файл формата гео-тегов в формате kmz, используя хранилище файлов S3 и доступ к sdk через приложение ruby-on-rails на Heroku.

Я запускаю файловые процессы, когда загружается представление «проект», но методы экземпляра, которые я написал для доступа к S3 и обработки файлов, занимают около 40 секунд, что приводит к ошибке времени ожидания 504.

Я уже изучал архивирование на S3 без локальной загрузки, но это не представляется возможным. Есть ли лучший способ приблизиться к этому процессу загрузки / выгрузки, чтобы ускорить его, или лучшее место, чтобы запустить его, чтобы избежать тайм-аута, если нет?

Методы здесь, в контроллере проекта: 

  # GET /projects/1
  # GET /projects/1.json
  def show
   @pictures = @project.pictures.all
   @project.generate_kml
   @project.download_project
   @project.generate_kmz
  end

С полной детализацией: 

def generate_kml
        content = []
        content.push('<?xml version="1.0" encoding="UTF-8"?>')
        content.push('<kml xmlns="http://www.opengis.net/kml/2.2" xmlns:gx="http://www.google.com/kml/ext/2.2" xmlns:kml="http://www.opengis.net/kml/2.2" xmlns:atom="http://www.w3.org/2005/Atom">')
        content.push('<Document>')
        content.push("<name>#{self.id}.kmz</name>")
        #cycles through each picture in db for the current project
        self.pictures.each do |pic|
            pic_title = pic.image.to_s.split('/').last
            content.push('<Placemark>')
            content.push("<name>#{pic_title}</name>")
            content.push('<description>')
            content.push('<![CDATA[')
            line = '<img style="max-width:1000px;" src="' + '' + pic_title + '">' 
            content.push(line)
            content.push(']]>')
            content.push('</description>')
            content.push('<Point>')
            content.push("<coordinates>-#{pic.long},#{pic.lat}</coordinates>")
            content.push('</Point>')
            content.push('</Placemark>')
        end
        content.push('</Document>')
        content.push('</kml>')
        #pushes upload to S3 folder
        s3 = Aws::S3::Resource.new
        obj = s3.bucket(ENV['S3_BUCKET']).object("uploads/" + "#{self.id}" + "/doc.kml")
        File.open("kml_temp", "w+") { |f| 
        f.puts(content)
        obj.put(body: f)
        }
    end

    def generate_kmz
        #create
        directory_to_zip = "/tmp/#{self.id}"
        output_file = "/tmp/kmz_directory/#{self.id}.kmz"
        zf = ZipFileGenerator.new(directory_to_zip, output_file)
        zf.write()
        #send to S3
        s3 = Aws::S3::Resource.new
        obj = s3.bucket(ENV['S3_BUCKET']).object("uploads/kmz_directory/" + "#{self.id}.kmz")
        obj.upload_file("/tmp/kmz_directory/#{self.id}.kmz")
    end

    def download_project
        #tmp cleanup    
        #FileUtils.rm_r '/tmp'

        #delete target directory if exists
        if Dir.exist?("/tmp/#{self.id}") 
            FileUtils.remove_dir("/tmp/#{self.id}")
        end

        #create kmz_dir if needed
        if Dir.exist?("/tmp/kmz_directory") 
        else
           FileUtils.mkdir "/tmp/kmz_directory"  
        end

        #create target dir
        FileUtils.mkdir "/tmp/#{self.id}" 

        #download pics
        s3 = Aws::S3::Resource.new
        s3.bucket(ENV['S3_BUCKET']).object_versions({ prefix:"uploads/#{self.id}" }).each do |object|
            #get file name
            full_key = object.key
            file_name = full_key.to_s.split('/').last
            #save to /tmp
            object.get(response_target: "/tmp/#{self.id}/#{file_name}")
        end

    end

1 Ответ

1 голос
/ 19 июня 2019

Heroku ограничивает веб-запросы до 30 секунд. Обычно длительные процессы выполняются на рабочих динамометрах, используя что-то вроде sidekiq или отложенного задания. Ваш веб-клиент может опрашивать действие ProjectsController#show каждые пару секунд, а когда файл будет готов, действие может отобразить страницу со ссылкой на файл kml в корзине s3.

...