Почему я получаю несоответствие типов в Spark? - PullRequest
Новая
       50

Почему я получаю несоответствие типов в Spark?

1 голос
/ 01 апреля 2020

Я скачал исходный код алгоритма распространения Label из inte rnet. источник следующий: 

def run[VD, ED: ClassTag](graph: Graph[VD, ED], maxSteps: Int): Graph[VertexId, ED] = {

      val lpaGraph = graph.mapVertices { case (vid,_) => vid}
      def sendMessage(e: EdgeTriplet[VertexId, ED]): Iterator[(VertexId, Map[VertexId, Long])] = {
        Iterator((e.srcId, Map(e.dstAttr -> 1L)), (e.dstId, Map(e.srcAttr -> 1L)))
      }
      def mergeMessage(count1: Map[VertexId, Long], count2: Map[VertexId, Long])
      : Map[VertexId, Long] = {
        // Mimics the optimization of breakOut, not present in Scala 2.13, while working in 2.12
        val map = mutable.Map[VertexId, Long]()
        (count1.keySet ++ count2.keySet).foreach { i =>
          val count1Val = count1.getOrElse(i, 0L)
          val count2Val = count2.getOrElse(i, 0L)
          map.put(i, count1Val + count2Val)
        }
        map
      }
      def vertexProgram(vid: VertexId, attr: Long, message: Map[VertexId, Long]): VertexId = {
        if (message.isEmpty) attr else message.maxBy(_._2)._1
      }
      val initialMessage = Map[VertexId, Long]()
      Pregel(lpaGraph, initialMessage, maxIterations = maxSteps)(
        vprog = vertexProgram,
        sendMsg = sendMessage,
        mergeMsg = mergeMessage)
    }

код получает график в качестве входных данных и выполняет некоторые операции над графиком. первая строка внутри функции - val lpaGraph = graph.mapVertices { case (vid,_) => vid}, которая помещает идентификатор узла в качестве его начальной метки (свойства). я хочу запустить алгоритм не с метками, равными идентификатору узла, а с текущим состоянием метки узла. потому что перед выполнением LPA я провел некоторые манипуляции с графиком, и некоторые узлы имеют метку. сначала я сделал mapvertices на исходном графике с кодом ниже: 

case class nodes_properties(label: VertexId, isCoreNode: Boolean = false)
var work_graph = graph.mapVertices { case (node:Long, property) => nodes_properties(node.toInt, false) }

, затем после завершения своих операций я изменил свойство узлов, чтобы подготовить его к выполнению метода run, упомянутого выше . 

val xx =  work_graph.mapVertices { case (node) => (node._2.label) }

результат выглядит примерно так: 

(1,3)
(2,3)
(3,3)
(4,9)
(5,2)
....

затем я выполняю метод run. я только что изменил первую строку метода запуска с: 

val lpaGraph = graph.mapVertices { case (vid,_) => vid}

на 

val lpaGraph = graph.mapVertices {case (vid) =>(vid._2)}

, но я получаю Ошибка несоответствия типов:

enter image description here

Что не так с кодом ?? Я думаю, что все в порядке. кто-нибудь может найти что не так?

1 Ответ

1 голос
/ 02 апреля 2020

Как я понял из вашего вопроса, ваше свойство label будет Long, Int или любым другим типом, отличным от VD. попробуйте проверить это: 

 val lpaGraph= graph.mapVertices { case (vid) =>(vid._2).asInstanceOf[(VertexId)]}

с помощью asInstanceOf вы меняете тип вашего значения из всего, что должно быть VertexId

...