是时候撤掉IT部门了

我最近一些工作思考和文章中的观点有共鸣。
当然,我相信很多人也会说这个不符合自己公司的现实情况。
但这也是一个对未来的积极思考。

Im 441060

上述数字银行、能源企业以及为数不多的其他企业已经意识到,如果设立单独的IT部,要想拥有客户所需的敏捷性、速度和灵活性,几乎是不可能的。它不利于企业充分发挥所有员工的潜能,还迫使不同工作任务之间产生相互竞争,在员工中间也容易引发内斗。除此之外,出现这种结果的可能性也变得更大:当大家终于敲定解决方案时,他们当初想要解决的问题已不复存在。

上面提到的这些企业认为,最成功的组织需要的其实是一种分布式网络,其储备着大量技术知识和专业技能。这些企业正将技术人员部署到每个部门——在每个部门,甚至在一个部门的每个团队里配备两种人才:一种是懂业务的人,一种是懂技术的人。此举融合了内部团队之间的工作关系,有利于加快决策速度,增加透明度,并共享主人翁意识。同时各部门无需再与IT部交接,因此不会减缓工作进度。

Source: 是时候撤掉IT部门了 – 华尔街日报

Workera 报告

Workera 报告

Workera,作为一个deeplearning.ai旗下的公司,提供了一份关于AI行业中不同岗位的技能和工具的报告,英文原版在此下载。对于想要进入AI领域的局外人了解这些岗位区别,规划职业发展有很大帮助。

赚钱机器:一位匿名的算法交易者访谈

一位内部人士解释了算法如何重塑金融

Logic Magazine

照片:Aditya Vyas/Unsplash

原文作者: Logic Magazine的编辑
翻译: 中国特色。NET

近年来,我们越来越多了解到算法在我们生活中的作用。算法有助于决定人们是否获得工作或贷款,他们阅读的新闻(无论真假),甚至是他们的监禁刑期。

但算法也在重塑金融世界,并且产生了极为深远的影响。在金融化资本主义时代,金融在全球财富和工作组织中发挥着重要作用 – 这意味着每个人都会感受到行业转型的影响。

我们与一位算法交易员坐下来了解算法如何重塑金融行业,以及此事的重要性。我们谈到了算法金融实际上是什么,谁是可能会出现在新的大数据淘金热中的赢家和输家,以及为什么我们可能会进入一个非理性的机器人繁荣时代。

让我们先谈谈你的背景。你是如何进入金融业的?

我一直对经济学感兴趣并且具有量化的背景。任何在我学习的专业上取得成功的人最终都会非常靠近量化。毕业后,当我试图找到一个收入较高的职业,同时也允许我学以致用时,我开始关注金融业。我最终在一家投资银行的交易大厅找到工作。

大多数大型银行至少有一个,通常是几个交易大厅。这是一个实际的楼层,大约相当于一个足球场的大小,充满了与寻求交易股票,债券或期货或融资的大型投资者做生意的交易员。银行通过收取佣金或“做市”来赚钱 – 在买卖双方之间进行中介,在等待双方配对的同时用自己的钱来承担一些风险。

当我想到一个交易大厅时,我想到一群人在电话里大喊大叫,类似于”华尔街之狼”-的样子。

现在人们不再对着电话大喊大叫了。交易大厅随着时间的推移已经变化了很多。它过去更多是关注全球市场的实时交易流。但现在则是越来越多的关于如何实现这种交易流,以及允许人们从该流程中赚钱的专利。

我喜欢它。交易大厅仍然事实上是全球市场的许多协议和交易发生的地方。这令人兴奋。如果你想用好你的智力,你会如鱼得水。你不只是坐在某个地方的办公桌前,或者试图通过一些随意的分析来说服巨型企业来支持你 – 这可能更像是一场推销游戏而不是一场智力锻炼。

不久,随着时间的推移,我调到金融行业的投资策略部门。我开始帮助大型资产所有者 – 养老基金和主权财富基金等实体 – 将资金分配给系统化的投资项目。我调去这里,因为这是大多数金融企业在2008年金融危机之后开始重点发展的地方,因为每个人都意识到旧的投资方式并没有真正按照他们的意愿去做。

投资组合依然暴露于相同的潜在风险。但技术现在使投资者能够更好地了解他们的风险,并更直接地控制他们的投资。转变的一部分是,当人类决策没有增加价值的时候就不用它。

Continue reading “赚钱机器:一位匿名的算法交易者访谈”

If it’s interpretable it’s pretty much useless.

做机器学习的时候要想清楚自己的目标是什么。是获得模型,还是获得预测能力。
前者是统计学家,后者是数据科学家。

If your model doesn’t have the same performances on the training set and in the live environment is not a matter of trust, but a problem either in your dataset or in your testing framework. Trust is built on performances and performances on metrics: design the ones that work for your problem and stick to them. If you’re looking for trust in interpretability you’re just asking to the model questions you already know the answers, and you want them to be provided in the exact way you are expecting them. Do you need machine learning for building such a system? The need of ML arises when you know questions and answers but you don’t know an easy way to get from one to the others. We need a technique to fake the process, and it might be that an easy explanation for it doesn’t even exist.

(略)

I’m not a fanboy, and the more I know about machine learning, trying to build some real products out of it, the most I loose interest in this kind of discussions. Probably, the only useful thing about ML is in its ability to replicate processes that aren’t easy to describe explicitly: you just need questions and answers, the learning algorithms will do the rest. Asking for interpretability as a condition for real world usages is undermining the foundations of the whole field. If the trained model has good performances and it’s not interpretable we are probably on the right track; if it’s interpretable (and the explanation is understandable and replicable) why loosing weeks and GPU power? Just write some if-else clauses.

Source: If it’s interpretable it’s pretty much useless. – Massimo Belloni – Medium

郭文贵讲话中提到的人和组织

上图是以郭文贵讲话的文字稿为基础,用BERT模型做NER(name entity recognition)得到的提及次数最多的人和组织。

仅对结果进行了微不足道的调整。

因为文字稿未校对,NER模型也未训练很久,结果一般般,比如班农都没出现。

权当是练手吧。

感谢:

https://yiqiedoushiganggangkaishi.org

https://github.com/BrikerMan/Kashgari

https://github.com/amueller/word_cloud

机器学习项目检查清单

Aurélien Géron 所著《Scikit-Learn与TensorFlow机器学习实用指南》附录有份机器学习项目的检查清单,非常实用。
故翻译如下。

描述问题并观察大局(the big picture)

  1. 用商业术语描述目标。
  2. 你的解决方案要如何运用?
  3. 目前的解决方案或变通方法是什么?
  4. 你要如何表述这个问题(监督/非监督学习,在线/离线学习等)?
  5. 怎样衡量性能?
  6. 性能指标与商业目标一致吗?
  7. 达到商业目标的最低性能是什么?
  8. 有没有类似的问题?你有可重复使用的经验或工具吗?
  9. 是否有专业人士的支持?
  10. 你如何手工解决这个问题?
  11. 列出你(或其他人)到目前为止的假设。
  12. 尽量核实假设。
Continue reading “机器学习项目检查清单”

将微信公众号内容制作成电子书

微信公众号是个毒瘤,因为它封闭的生态系统阻止了信息的流通。
但是的确有一些不错的公众号。最近一个朋友就推荐了我一个写晚清历史的公众号,从宗教战争的角度看晚清,观点很有趣。
但如果在手机上看完这几十篇文章我的眼睛估计会瞎掉。
所以我就花了点时间写了这样一个脚本,可以把微信公众号在传送门上的镜像抓取下来生成电子书。
之所以选择爬传送门,是因为听说腾讯反爬虫很严厉。

源代码在此: https://github.com/fqx/chuansongme2ebook

这个脚本重用了很多我之前另一个项目的代码,因此明显可以看得出来变量命名规则的改变。
我也尝试着用面向对象的方式来写这个脚本,虽然不是很成功。
比较值得高兴的是,这次完成了对图片的处理,方法比之前预期的要简单一些。
对微信公众号这种图片比较多的平台特别有意义。

解析部分(simplify_html 函数)针对我要抓的那个公众号做了优化,各位可根据自己的实际需求修改。
爬完后用kindlegen可以生成mobi格式的电子书。

统计建模:两种文化

标题其实是 Leo Breiman 于2001年在统计科学杂志发表的一篇论文,而我今天才在机器学习课程的阅读清单里看到它。

我一看到这篇文章就非常喜欢,接下来让我跟你介绍一下这篇文章的主要内容和我的一些感想。

哪两种文化?

作者认为当时统计学有两种文化,他称之为数据模型派(Data Modeling)和算法模型派(Algorithmic Modeling)。其中统计学家有98%是数据模型派的。

数据模型派的主要特点,就是论文先假设统计数据符合某种分布,一般来说是线性回归,然后建模,算显著性水平,得到结论。
数据模型派,更关心的是模型,和模型的可解释性。

而那2%的算法模型派,也假设统计数据符合某种分布,但并不直接对这种分布进行建模,而是通过SVM、分支树等办法(随机森林正是该论文作者发明的)获得模型,并用验证集/测试集确定该模型的预测能力。他们关心的是预测能力,而不是模型的可解释性。

数据模型派有什么问题?

因为数据模型派预设统计数据的分布模型,并且为了可解释性多用线性模型或逻辑回归,用R2作为显著性水平的衡量工具。

但问题在于,即使模型通过了显著性水平测试,对于增加了多项式的线性模型,统计数据也未必真的符合线性回归模型。
David Freedman 和 William Cleveland 等人已经发现了这个问题。

换句话讲,数据模型派的统计学家只是把一个模型套在了数据上,然后说这个模型的显著性水平测试已经通过了,blablabla。
如果增加多项式的话,同一组数据可以回归得到不同的模型,因此也可以得到完全不同的结论。
那么这些统计学家怎么确定哪个模型才是正确的呢?它们都通过了显著性水平测试啊。

对数据模型派更糟糕的是,在应用到复杂系统(例如未知的化学或生物过程)的数据上时,假设数据符合某个模型就更为可笑了。
这一派统计学家为此加上了贝叶斯、蒙特卡洛等方法,然而,如此一来数据模型派的可解释基础就不存在了。

该算法模型派出场了!

算法模型派并不去猜测统计数据的分布模型,因此对于复杂系统的应用没有数据模型派的那个问题。

更好的是,算法模型派支持模型的多样性,(想一想随机森林),并且,由于支持多种模型,在一些实际应用上,其预测的准确性显著高于数据模型派,并且这个效果是通过验证集/测试集证实的。

另一方面,数据模型派经常面对的维度爆炸的问题,算法模型派根本不在乎。数据模型派需要用PCA等方法降低维度,同时也丢弃了一些信息,但是算法模型派可以使用上这些被丢弃的信息。

算法模型就真的是个黑匣子吗?

作者举了三个例子说明,某些时候,因为特征的共线性,随机森林比逻辑回归更能找出关键特征,随机森林还能对特征进行聚类,以及对特征重要性给出更清晰的细节。

因此,作者在最后建议统计学家拥抱算法模型,他认为未来解决实际问题更多得依赖算法模型。(记住这可是2001年)

本人的感想

人工智能(AI)在近几年引起了很多人的关注,有些人认为只是又一个(短暂的)风口,有些人对它目前的能力有一些不切实际的幻想。

我觉得它在这两者之间,它会像互联网一样在相当长的一段时间持续的改变我们的生活,就像90年代互联网浪潮一样,那个时候也没多少人遇见到了目前的移动互联网时代。

而机器学习技术,AI的核心技术,这个源于统计学却又完全不同于传统统计学的东西,正是论文作者所说的算法模型。
作者在那个时候已经看到了机器学习技术的发展潜力,也为机器学习社区贡献了随机森林这种优秀的算法。
*据Kaggle统计,在传统数据分析领域,即非图像非自然语言等领域,随机森林是挑战者最喜欢用的算法之一。

但是我很遗憾的看到,即使在2018年,国内仍有一些学者戴着大数据/人工智能的花环,干着数据模型派的事情。

tweet_status/1074116611089387520

Mail to prof chen

我也很遗憾,现在才看到这篇论文。
但也许是因为我并没有认真的学过统计学,没有数据模型派的成见,我在学习机器学习的过程中已经形成了这样一种感觉。

就像作者试图告诉我们的,摒弃100%的可解释性,去拥抱未知