开源？遵守最新的生成式AI管理办法吗？符合社会主义价值观吗？😂
国内科技企业掀起“百模大战”的同时，开源大模型的数目逐渐增多。8月3日，阿里云宣布，将通义千问70亿参数的小型化版本对外开源，免费供其它企业商用。自此，全球围绕开源大模型的生态争夺进一步加剧。
“相比英文世界热闹的AI开源生态，中文社区缺少优秀的基座模型。通义千问的加入有望为开源社区提供更多选择，推动中国AI开源生态建设。”阿里云在声明中表示。
Tag: AI
GPT-3 aces tests of reasoning by analogy
更可能是大语言模型训练时已经见过这些题目，很可惜论文并没有对此进行分析。
The UCLA team, Taylor Webb, Keith Holyoak, and Hongjing Lu, relied on a large collection of ways that past research has tested humans’ ability to reason via analogy. The classic form of this is the completion of a comparison—think “cold is to ice as hot is to ____”—where you have to select the best completion from a set of options.
Related tests involve figuring out the rules behind transformations of a series of letters. So, for example, if the series a b c d is transformed to a b c e, then the rule is to replace the last letter of the series with its alphabetical successor. The participant’s understanding of the rule is tested by asking them to use the rule to transform a different set of letters. Similar tests with numbers can involve complex rules, such as “only even numbers in order, but can be ascending or descending.”
On all of these tests, GPT-3 consistently outperformed undergrads, although the margins varied depending on the specific test involved. The researchers also found that the software could develop rules based on a series of numbers, and then apply them to a different domain, such as descriptions of temperatures like “warm” and “chilly.” They conclude that “these results suggest that GPT-3 has developed an abstract notion of successorship that can be flexibly generalized between different domains.”
Source: GPT-3 aces tests of reasoning by analogy | Ars Technica
谷歌工程师称其AI系统有人类感知力
我看过那段对话，确实很惊人，也许真能通过图灵测试。
其实这代人工智能工程师都是AGI降临派的使徒。
谷歌(Google)一名工程师认为该公司开发的人工智能聊天机器人已经有了感知力，谷歌暂停了他的职务，并告诉他，在公司否定他的说法后，他违反了公司的保密政策。
Alphabet Inc. (GOOG)旗下谷歌的软件工程师Blake Lemoine告诉该公司，他认为其对话应用语言模型(简称LaMDA)是一个人，具有权利，可能还有灵魂。LaMDA是一个内部系统，用于构建模仿语音的聊天机器人。
谷歌发言人Brian Gabriel说，包括伦理学家和技术专家在内的公司专家已经评估了Lemoine的说法，谷歌通知他，相关证据并不支持他的说法。这位发言人表示，Lemoine正在休行政假，但未予提供进一步的细节，称这是一个长期的私人性质的人事问题。《华盛顿邮报》(The Washington Post)早些时候报道了Lemoine的说法和他被谷歌停职的情况。
Gabriel 在一份电子邮件声明中说：“数以百计的研究人员和工程师与LaMDA进行了对话，就我们所知，没有其他人像Blake那样对LaMDA进行了广泛的认定或拟人化。”
Gabriel称，人工智能领域的一些人正在考虑人工智能具有感知力的长期可能性，但通过将没有感知力的对话工具拟人化来这样做是没有意义的。他补充说，像LaMDA这样的系统，其运行方式是模仿数以百万句的人类对话中的交流类型，从而能够就即便是幻想中的话题展开交流。
人工智能专家普遍表示，该技术仍未接近人类的自我认识和意识。但在语言和艺术等领域，人工智能工具日渐具备进行复杂互动的能力，对此技术伦理学家警告说，随着公司公开部署此类工具，可能会导致误用或误解。
Lemoine称，通过与LaMDA的互动，他得出结论认为它已经成为一个人，应该被赋予同意权，即同意在它身上进行的实验。
“在过去的六个月里，LaMDA在其沟通中表现出令人难以置信的一致性，即它想要什么，以及它认为它作为一个人的权利是什么，”Lemoine上周六在在线出版平台Medium上的一篇文章中写道。他写道：“继续让我感到困惑的是，它的要求如此简单，而且对谷歌来说毫无成本，谷歌却极其强烈地抵制给予它想要的东西。”
Lemoine在周日的简短采访中说，因违反公司的保密政策，他于6月6日被安排带薪行政休假，他希望自己能保住在谷歌的工作。他表示，他并不是想激怒公司，而是为他认为正确的事情站出来。
在另一篇Medium帖子中，他称自己因违反公司的保密政策，于6月6日被谷歌停职，并表示他可能很快被解雇。
Source: 谷歌工程师称其AI系统有人类感知力，被公司停职 – 华尔街日报
Workera 报告
Workera 报告
Workera，作为一个deeplearning.ai旗下的公司，提供了一份关于AI行业中不同岗位的技能和工具的报告，英文原版在此下载。对于想要进入AI领域的局外人了解这些岗位区别，规划职业发展有很大帮助。
AI新贵：梦想撞上现实
炼丹，是炼丹。
在数据依赖之外，由于缺少理论基础，调整模型参数是深度学习中最为“玄学”的部分。一名旷视员工将其比作厨师的手艺，“加盐少许究竟是多少？全凭感觉”。
美国卡耐基梅隆大学教授邢波曾向财新记者称，如今的AI工艺不过是“作坊”的程度，难以标准化输出，“就像陶器，师傅和学徒做出的品质不同，甚至师傅做两遍，品质也不同”。
Source: AI新贵：梦想撞上现实_财新周刊频道_财新网
赚钱机器：一位匿名的算法交易者访谈
一位内部人士解释了算法如何重塑金融
原文作者： Logic Magazine的编辑
翻译： 中国特色。NET
近年来，我们越来越多了解到算法在我们生活中的作用。算法有助于决定人们是否获得工作或贷款，他们阅读的新闻（无论真假），甚至是他们的监禁刑期。
但算法也在重塑金融世界，并且产生了极为深远的影响。在金融化资本主义时代，金融在全球财富和工作组织中发挥着重要作用 – 这意味着每个人都会感受到行业转型的影响。
我们与一位算法交易员坐下来了解算法如何重塑金融行业，以及此事的重要性。我们谈到了算法金融实际上是什么，谁是可能会出现在新的大数据淘金热中的赢家和输家，以及为什么我们可能会进入一个非理性的机器人繁荣时代。
让我们先谈谈你的背景。你是如何进入金融业的？
我一直对经济学感兴趣并且具有量化的背景。任何在我学习的专业上取得成功的人最终都会非常靠近量化。毕业后，当我试图找到一个收入较高的职业，同时也允许我学以致用时，我开始关注金融业。我最终在一家投资银行的交易大厅找到工作。
大多数大型银行至少有一个，通常是几个交易大厅。这是一个实际的楼层，大约相当于一个足球场的大小，充满了与寻求交易股票，债券或期货或融资的大型投资者做生意的交易员。银行通过收取佣金或“做市”来赚钱 – 在买卖双方之间进行中介，在等待双方配对的同时用自己的钱来承担一些风险。
当我想到一个交易大厅时，我想到一群人在电话里大喊大叫，类似于”华尔街之狼”-的样子。
现在人们不再对着电话大喊大叫了。交易大厅随着时间的推移已经变化了很多。它过去更多是关注全球市场的实时交易流。但现在则是越来越多的关于如何实现这种交易流，以及允许人们从该流程中赚钱的专利。
我喜欢它。交易大厅仍然事实上是全球市场的许多协议和交易发生的地方。这令人兴奋。如果你想用好你的智力，你会如鱼得水。你不只是坐在某个地方的办公桌前，或者试图通过一些随意的分析来说服巨型企业来支持你 – 这可能更像是一场推销游戏而不是一场智力锻炼。
不久，随着时间的推移，我调到金融行业的投资策略部门。我开始帮助大型资产所有者 – 养老基金和主权财富基金等实体 – 将资金分配给系统化的投资项目。我调去这里，因为这是大多数金融企业在2008年金融危机之后开始重点发展的地方，因为每个人都意识到旧的投资方式并没有真正按照他们的意愿去做。
投资组合依然暴露于相同的潜在风险。但技术现在使投资者能够更好地了解他们的风险，并更直接地控制他们的投资。转变的一部分是，当人类决策没有增加价值的时候就不用它。
Continue reading “赚钱机器：一位匿名的算法交易者访谈”If it’s interpretable it’s pretty much useless.
做机器学习的时候要想清楚自己的目标是什么。是获得模型，还是获得预测能力。
前者是统计学家，后者是数据科学家。
If your model doesn’t have the same performances on the training set and in the live environment is not a matter of trust, but a problem either in your dataset or in your testing framework. Trust is built on performances and performances on metrics: design the ones that work for your problem and stick to them. If you’re looking for trust in interpretability you’re just asking to the model questions you already know the answers, and you want them to be provided in the exact way you are expecting them. Do you need machine learning for building such a system? The need of ML arises when you know questions and answers but you don’t know an easy way to get from one to the others. We need a technique to fake the process, and it might be that an easy explanation for it doesn’t even exist.
（略）
I’m not a fanboy, and the more I know about machine learning, trying to build some real products out of it, the most I loose interest in this kind of discussions. Probably, the only useful thing about ML is in its ability to replicate processes that aren’t easy to describe explicitly: you just need questions and answers, the learning algorithms will do the rest. Asking for interpretability as a condition for real world usages is undermining the foundations of the whole field. If the trained model has good performances and it’s not interpretable we are probably on the right track; if it’s interpretable (and the explanation is understandable and replicable) why loosing weeks and GPU power? Just write some if-else clauses.
Source: If it’s interpretable it’s pretty much useless. – Massimo Belloni – Medium
机器学习项目检查清单
Aurélien Géron 所著《Scikit-Learn与TensorFlow机器学习实用指南》附录有份机器学习项目的检查清单，非常实用。
故翻译如下。
描述问题并观察大局（the big picture）
- 用商业术语描述目标。
- 你的解决方案要如何运用？
- 目前的解决方案或变通方法是什么？
- 你要如何表述这个问题（监督/非监督学习，在线/离线学习等）？
- 怎样衡量性能？
- 性能指标与商业目标一致吗？
- 达到商业目标的最低性能是什么？
- 有没有类似的问题？你有可重复使用的经验或工具吗？
- 是否有专业人士的支持？
- 你如何手工解决这个问题？
- 列出你（或其他人）到目前为止的假设。
- 尽量核实假设。