OpenFDA不良事件管道 用于处理OpenFDA FAERS DB的OpenTargets ETL管道。 开放式FDA药物不良事件API返回从FDA不良事件报告系统(FAERS)收集的数据,该数据库包含有关提交给FDA的不良事件和用药错误报告的信息。 管道支持可以在配置文件中指定的三种输出格式(Parquet,CSV和JSON)。 对于开放式目标,使用两种格式: CSV:当前管道中的不利事件 JSON:ETL管道中的openfda索引 该项目应作为Spark作业运行,以生成药品不良事件的汇总输出。 概要 下载OpenFDA“ FAERS”(〜1000个文件-2020年5月) 阶段1:对该数据进行预处理(OpenFdaEtl.scala): 过滤条件: 仅由卫生专业人员提交的报告((1,2,3)中的primarysource.qualification )。 排除导致死亡的报