27 November 2015

今天开始,记录下工作日志吧,常记常反省。清洗数据,重启信用评级工作

流水

  • 清洗外资库剩下的利润表的数据,并让胡小姐检查,
  • 检查除了问题,kettle中的脚本有错误,判断逻辑中少些了叹号,导致资产负债表清洗的数据不对,更改脚本后重新清洗。
  • 重启信用评级开发
    • 将之前测试环境导出的线下报告订单数据删除掉,代替为生产环境的订单数据。
    • 按照周三开会提到的要求,先将几个无法获取的指标默认分数给予慢饭,进行信用评级测试。
  • 供应商接口有问题了,新帐号权限没有开通,老帐号就关掉了,已经联系客户经理解决

总结

  • 外资库的清洗拉的战线太长了,从第一次清洗到现在基本2个多月了。
    • 第一,像我们这种非专业的数据(分析)工程师,做这类工作,效率太低了。
    • 第二,产品初期,应该趁着没有客户的时候感觉应该先把有的数据都放上去,积累线上系统的资源。
    • 第三,可能为了做线下报告,针对数据质量要求比较严格。
    • 第四,其实可以针对线上产品和线下产品成立两个小组,当然涉及到成本问题,但是起码可以部署两套系统,线上猛追猛打,快速迭代;线下考虑缜密,稳步前进。
  • 信用评级 隔了三周多,重启,周期有点长了。没有提炼阶段性目标。进度太慢。还要温习之前的业务逻辑,这还是我自己写的,要是别人写的,更纠结了。




Fork me on GitHub