周跃 男·26 岁·本科·共青团员·3 年以上工作经验 | |||
---|---|---|---|
上海新颜人工智能有限公司·大数据开发工程师 | |||
手机: | 18251986796 | 国籍: | 中国 |
邮箱: | [email protected] | 户籍: | 淮安 |
职业概况 | ||||
目前 | 期望 | |||
前年薪: | 保密 | 期望薪资: | 25k-40k·14薪 | |
目前地点: | 上海 | 期望行业: | 金融科技 | |
目前状态: | 在职,看看新机会 | 期望地点: | 南京 | |
期望职位: | 数据开发;数据架构师 |
技能标签 |
Scala, Java, 机器学习与量化投资, Python, R, 大数据, Spark, Flink, Solr, HBase |
工作经历 | |||
上海新颜人工智能有限公司 | 2018.07-至今(2年) | ||
大数据开发工程师 | |||
薪酬状况: | 工作地点: | 上海 | |
所在部门: | 研发部 | 汇报对象: | |
下属人数: | 0 人 | ||
职责业绩: | 职责: 1、基础数据服务 (1)实时数据入库。利用 Spark、Flink、Kafka、HBase 等技术实现对各类业务数据实时录入,实现全链路秒级延迟。 (2)离线数据入库。利用 Spark、Hive 等技术实现 ETL 操作。 (3)机器学习模型训练与部署。使用 LR、SVM、KNN、Decision Tree、Random Forest 等训练模型,并将训练好的模型以离线方式部署和接口方式部署。 2、多款产品落地与升级 (1)主导企业征信设计与开发。包括工商、被执行人、失信人、裁判文书、舆情的 ETL 与分析。 (2)设备指纹项目重构。对原有系统进行优化和重构,使得项目易于维护且具有标准、明确的规范。 (3)助贷系统业务支持。对接外部商户,将其数据的清洗、转换、标签化、落地,并对外提供服务。 (4)公司信贷业务支持,包括雷达,探针等业务各类标签数据支持。 (5)敏捷大数据开发。研究宜信敏捷大数据项目,包括 DBus,Wormhole,Davinic 平台。 业绩: 1、取得业绩 (1)实现公司多业务支持与产品落地。 (2)实现公司基础服务的改造与升级。 2、实现突破 (1)助力公司企业征信项目落地与投产。 (2)实现公司敏捷化之路。 |
||
北京掌众科技有限公司 | 2017.06-2018.06(1年) | ||
大数据开发工程师 | |||
薪酬状况: | 工作地点: | 南京 | |
所在部门: | 汇报对象: | ||
下属人数: | 0 人 | ||
职责业绩 | 职责: 1、基础数据服务,参与各类需求开发 (1)实时流入库。利用 Kafka、Spark、HBase 等技术实现对业务数据实时录入。 (2)对外接口开发。利用 HBase、SpringBoot 等技术实现数据 API 服务。支持日均100万+调用量、20毫秒延迟。 2、基础服务升级与改造 (1)接口耗时、异常预警监控及接口一键检测。 (2)使用 Hytrix 实现分布式系统的延迟和容错。如对接口的降级、限流、熔断等操作。 (3)oneService 改造。统一 API,调用方可自由申请调用模块,记录 API 全生命周期、管理和监控流量。 3、大数据平台开发 (1)号码标记库。整合公司号码资源,对号码标记、标签,挖掘价值,提高号码使用效率。对全网1亿多条号码数据进行分析,并提供 API 对外输出。 (2)元数据管理平台。记录数据生命周期、监控数据质量、提供数据服务。 (3)数据仓库。各业务数据(授信项、客户端、业务端、黑名单等)数仓维护,数据体量达450亿+,日增量4亿+。 业绩: 1、取得成绩 (1)实现高效、可靠、稳定的业务数据入库及数据接口输出。 (2)实现基础服务的改造与升级,同时保证了服务的稳定性和可靠性。 (3)参与并实现公司多款大数据产品从0到1的过程。如:号码标记库、元数据管理平台。 2、实现突破 (1)实现公司基础服务的改造与升级。如:Hytrix 降级、限流、熔断及 OneService。 (2)实现公司大数据平台搭建与完善。如:号码标记库、元数据管理平台。 |
||
教育经历 | ||
南京晓庄学院 | 软件工程/本科 | 2013.09-2017.07 |
项目经验 | |
企业征信 | 2019.04-至今(2020.08) |
大数据开发工程师 | |
所在公司: | 上海新颜人工智能有限公司 |
项目描述: | 致力于企业征信的相关信息整合,提供一站式的服务,提供及时准确的信息,包括工商,失信人,被执行人,商标,专利,舆情等各类信息。 |
项目职责: | (1)企业征信项目架构搭建、演进 起初,针对企业征信中不同业务的特点,采用 Lambda 架构。 离线部分:采用 Flume 离线收集数据至 HDFS,再通过 Spark 离线分析,再将数据保存至 Hive。 实时部分:采用 Kafka 收取日志,并通过 Spark Streaming 进行实时计算,并将结果保存至 HBase。 随着业务的发展,维护两套代码成本高,转为 Kappa 架构。使用 Kafka 收取日志,通过 Flink 进行计算,并将结果保存至 HBase,保证数据的一致性存储。 (2)核心代码开发 工商、失信人、被执行人、商标、舆情等数据 ETL 工作,并完成数据分析及推送,如针对提供舆情关键词订阅,并对舆情数据做推送。 (3)与项目各方沟通、协调 负责大数据与爬虫、后端及产品的沟通,推进项目的落地。同时指定了众多的流程准则和数据交互规范,降低了沟通成本,提高了工作效率。 |
项目业绩: | (1)完成了企业征信的从0到1的过程。 (2)完成了低延迟、高可用、易扩展的代码开发,同时成为了公司的模板代码,并在其他项目中优化和迭代。 (3)沉淀了众多数据规范和流程规范。 |
经典多因子选股及人工智能选股 | 2020.01-2020.03 |
大数据开发工程师 | |
所在公司: | 上海新颜人工智能有限公司 |
项目描述: | 使用 Python 在 A 股实现经典多因子选股(三因子模型、五因子模型)实证。人工智能算法进行选股。仿照经典多因子模型,利用支持线性模型(LR)、向量机模型(SVM)、随机森林(Random Forest)等机器学习模型进行选股。 |
项目职责: | (1)数据获取、数据预处理、特征工程 从 tushare 获取公司的基本面数据、交易数据,并加工成各类因子,并对数据做预处理(缺失值处理、中位数去极值、行业市值中性化及标准化)。 (2)模型训练、模型调参、模型预测、模型评价 - 首先,利用线性模型训练,建立 benchmark 各类指标(一般选拟合优度 R2)。 - 接着,选用随机森林或向量机模型进行训练,使用交叉验证方式确定模型。可以使用集成学习的方式进一步优化模型。 - 然后,使用训练好的模型进行预测。 - 最后对模型表现进行评价。 以随机森林(Random Forest)为例,讲述模型超参数确定过程。 - 首先,使用较广范围的 n_tree 训练模型,对超参数先初筛一遍,可以避免陷入局部最优。 - 接着,确定超参数的最优范围,通过交叉验证(Cross Validation )来确定最优的超参数。 (3)策略构建、策略评价、业绩归因 - 策略构建:看多表现最优的 n 只股票,每个月月末调仓。 - 策略评价:画出策略的净值曲线,计算年华超额收益,年化超额收益波动率,信息比率等指标评价策略。 - 业绩归因:将组合收益率分解,确定收益的准确来源和选股过程的有效性判断。 |
项目业绩: | (1)完成了经典多因子选股及机器学习选股的实证。 (2)理解传统计量经济学与机器学习在量化投资领域的各自的优劣势。 |
信用小额贷款 | 2017.06-2018.06 |
大数据开发工程师 | |
所在公司: | 北京掌众科技有限公司 |
项目描述: | 用大数据、云计算技术建立风控模型,通过机器学习快速放贷,满足年轻用户小额急借需求。 |
项目职责: | (1)实时流入库 负责日常实时流 ETL 过程及数据维护。 (2)数据 API 输出 业务接口开发及维护。接口的维护包括接口生命周期管理、接口耗时、检活及异常监控。 (3)数据分析 对数据进行统计与分析。通过 PySpark 对 Hive 数据进行分析。如,分析1亿+号码标记信息,统计个标记源的相似度及稳定性。 |
项目业绩: | (1)开发和维护公司大数据平台 包括元数据管理系统、用户行为分析、号码标记库、预警平台、数据仓库。 (2)为公司日常运营提供了稳定的数据服务,包括数据 ETL 及数据 API 服务。 |
语言能力 |
英语(读写精通CET6) |
自我评价 |
1、丰富的项目经验、扎实的编码能力。 - 有着丰富的项目经验,涉及大数据、机器学习、量化投资、WEB、爬虫等方面。 - 扎实的编码能力。擅长 Ractive 响应式编程。 2、扎实的理论基础 - 熟悉计算机网路、操作系统、数据结构与算法。 - 熟悉分布式理论。 - 熟悉设计原则,精通常见设计模式并能灵活应用。 - 精通 Java 并发开发。 - 熟悉 GC 常用算法,熟悉常见垃圾回收器,具有JVM 调优实战经验。 - 熟悉各类数据库,从 SQL 到 NoSQL,包括 MySQL,HBase,Redis。 - 熟悉常见大数据组件及其原理,包括但不限于 Hadoop、HBase、Zookeeper、Kafka、Spark、Flink、Hive。精通流数据计算理论,对 Hadoop 及 Spark 源码有深入研究。 - 熟悉数据仓库领域知识,熟悉 Kimball 维度建模技术。 - 熟悉 Solr 和 ES 搜索服务。 - 熟悉机器学习理论。了解机器学习建模一般过程。 3、多学科综合能力。 - 具有计算机、金融、数学多学科能力,利用多学科的优势,解决实际问题。 4、良好的逻辑思维和快速学习能力。 5、高度的团队意识和合作精神。 |
附加信息 |
GitHub:https://github.com/struggle3014 微信公众号:ABC 动物园 |