在开始文章之前

我要先表达对大家的感谢

脉搏至今发展3年

收录39399篇文章

这离不开大家的支持

脉搏会不断努力

力求在技术分享的路上越走越远

背景

随着人工智能技术的发展，越来越多的行业、领域开始关注和应用人工智能技术。AI技术能被用于能源、金融和国防系统等领域。上个月，谷歌新一代的人工智能围棋程序阿尔法元仅通过3天的学习，就以100比0的胜率战胜了曾经打败天下无敌手的初代阿尔法狗，人工智能的自我学习和进化能力让人震惊。人工智能也将成为大部分社会经济领域取得竞争优势的得力助手，其带来的后果将远远超过关于自动化取代制造业工作机会的争论。但是人工智能的应用必然是一把双刃剑，在对我们带来便利的同时，可能会有不利的影响，同时也引发了伦理学的讨论。

安全和隐私

安全：人工智能技术本身是没有好坏之分的，但是恶意攻击者利用人工智能发起攻击时，会有事半功倍的效果，也使得对攻击的检测和防御变得越来越难。如果有一天，机器人有了足够的认知能力，可能会对人类的生存带来威胁。

技术本身的安全性

深度学习方面缺乏对安全的考虑。对深度学习的讨论主要在算法方面，对应用场景的假设没有或很少考虑恶意场景。算法层的讨论没有考虑输入会导致程序奔溃甚至被攻击者劫持控制流。

• 依赖关系导致的安全问题

深度学习框架的使用，开发人员只关注应用本身的业务逻辑，无须也未关心神经元网络分层和学习分类的实现细节。黑盒的。依赖很多的组件和基础库，多层依赖的问题，如谷歌的TensorFlow框架包含对多达97个python模块的依赖。

360安全团队目前已经发现10多个深度学习框架及其依赖库的漏洞，包括内存越界访问、空指针应用、整数溢出等；带来的危害有DOS，控制流劫持，数据污染攻击等常见攻击。

• adversarial machine learning

今年2月份，OpenAI 在发表的最新研究中就曾指出AI安全领域的另一大隐忧对抗样本。在图像识别问题中，攻击者将对抗样本输入机器学习模型，让机器在视觉上产生幻觉，从而让系统产生误判。攻击者总是希望破坏其的完整性，有效性和私密性。

NVIDIA的研究人员在论文Progressive Growing of GANs for Improved Quality, Stability, and Variation中提出了一种新的全球性的生成对抗网络（GAN）方法和一种增加生成图像变化的方法，通过让两个人工智能系统相互竞争的方式来创造出更高质量的模拟人的“照片”。

技术被滥用的可能

AI伪造真人字迹以假乱真

2016年，伦敦大学学院的科学家开发了一款模拟任何人字迹的人工智能软件——My text in your hand writing（http://visual.cs.ucl.ac.uk/pubs/handwriting/），达到了以假乱真的地步。2017年10月24日，GeekPwn2017国际安全极客大赛上，中国金融认证中心(CFCA)团队使用AI机械臂成功复制中国科幻作家陈楸帆提供笔迹学习样本，写下一张真假难分的“欠条”。模仿笔迹可以被用于诈骗、敲诈勒索、职务侵占、贪污、伪造政府公文、诬告陷害、侮辱诽谤等犯罪。

生物特征因为其唯一性，被广泛用于识别和认证过程。然而，生物特征的唯一性就等于不可逆性，如指纹等生物特征一旦交出去，就无法更改。那么生物识别技术数据库一旦泄露无可挽回。这种化繁为简的身份验证方式所带来的潜在风险甚至比传统的密码技术更为严重。

应用技术之问:

• 是否使用面部识别技术、指纹识别等生物识别技术？

• 如何记录和保存用户的生物特征？

• 这些生物特征数据库是否会被出售给第三方？或者泄露？

• 服务提供商是否会删除客户的个人身份信息（生物特征）？

• ……

近年来，人工智能专家和网络犯罪分子都在尝试使用计算机视觉软件来破解验证码技术。假如犯罪分子有能力去研发人工智能恶意软件，并利用这种恶意软件在网上进行犯罪活动的话，那么计算机安全形势将会变得更加严峻。

网络犯罪分子迟早会利用人工智能技术来进行攻击，一切只是时间问题。

超级智能引发的担忧

超级智能的安全风险是指，假设人工智能技术的发展，机器人和其他人工智能系统可以进行自我发展演化，并发展出自我的意识，从而对人类的生存造成威胁。记者向第一个授予国籍的机器人问到关于如何看待AI威胁论时，索菲亚回怼：“你肯定听多了马斯克的话。但你别担心，人不犯我，我不犯人。”“人不犯我，我不犯人”的意义需要我们去思考一下。比尔·盖茨、斯蒂芬·霍金、埃隆·马斯克、雷·库兹韦尔等人都在担忧，对人工智能技术不加约束的开发，会让机器获得超越人类智力水平的智能，并引发一些难以控制的安全隐患。

隐私

互联网时代本来就没有隐私了，更悲催的是人工智能也来了。人工智能技术利用深度学习模型，可以从看似无关联的数据中挖掘出我们的隐私信息——互联网时代没有隐私。

伦理

智能机器人引发了伦理学的讨论，随着技术的发展，机器人可能会拥有和人一样的感情、思维，那么我们该如何去看待他们？

今年年初，欧洲议会发布的一份报告草案建议承认机器人的”人格”。这种提法有可能确立机器人承担法律责任的地位，但不会赋予他们与人类同等的权利。

10月25日沙特阿拉伯举行了未来投资计划(Future Investment Initiative)会议，一个名叫索菲亚(Sophia)的“女性”机器人被授予沙特阿拉伯国籍。这是全球首例机器人被授予国籍。

现场CNBC主播问其对AI威胁论如何看待时，索菲亚回怼：“你肯定听多了马斯克的话。但你别担心，人不犯我，我不犯人。”

机器人拥有了公民身份，是不是意味着他们和我们人类一样拥有相应的权力和义务。机器人是不是应该拥有人权，拥有哪些人权？智能产品“强大”的功能性以及“人性化”，不禁让人们产生这样的恐慌：人工智能产品将来是否会拥有自我意识，脱离人的控制，对人类社会产生威胁。

机器人的权力

目前在司法、医疗、军事等领域，研究人员已经开始探索人工智能在审判分析、疾病诊断和对抗博弈方面的决策能力。但是，在对机器授予决策权后，人们要考虑的不仅是人工智能的安全风险，而且还要面临一个新的伦理问题，即机器是否有资格这样做。机器人是否有权代替法官作出审判？在军事领域，如果AI机器人判断一个人可能是恐怖分子，在某些特殊情况下，AI机器人是否可以采取极端措施，甚至杀死这些人？

机器人的教育

人工智能可以而且应该在不同环境中学习和演化，因此机器人可能在不久的将来获取一定的感知、认知和决策能力。新华网曾报道，国外研发的某聊天机器人在网上开始聊天后不到24个小时，竟然学会了说脏话和发表种族主义的言论，这引发了人们对机器人教育问题的思考。这给一个启示，如果对机器人教育不当，那么机器人可能会成为一些坏人的工具，比如成为ISIS、种族分子等传播的工具。