季卫东：算法黑箱化与人工智能立法
在算法黑箱化的情况下，人工智能系统越复杂出现操作失误的可能性就越大，问责也变得越困难。如果让人工智能系统的开发者、制造者为算法失误承担无限的连带责任，就会妨碍人工智能的发展。
季卫东丨中国法与社会研究院院长
近些年人工智能成为社会热点，在各方面的应用以及相关产业的发展日新月异，给人类带来很多冲击、兴奋以及不安。与此同时，人工智能也已经渗透到日常生活世界，就像狐狸精悄悄溜进人们的书斋、琴房以及市井。所以，我决定选择关于数字化、数据驱动、人工智能的治理以及法制创新的话题。
这也是我这些年关注的一个研究方向。上海交通大学人工智能研究院携手中国法与社会研究院成立全国第一个“人工智能治理与法律研究中心”，2020年7月10日在世界人工智能大会法治论坛上举行了揭牌仪式，由我担任负责人，也想借此机会介绍一下我们的问题意识和发展目标。从自己的专业法社会学以及数字化的信息沟通技术（ICT）导致的法律制度创新的角度切入，简单论述以下四个问题：
1.人工智能引起的法与社会变迁；
2.的权利、责任以及伦理；
3.数据里的经济价值和人格尊严；
4.智能网络的平台治理与代码支配。
（一）人工智能引起的法与社会变迁
日常生活各方面的数字覆盖：特别是在2016年AlphaGo击败人类职业围棋顶尖选手之后，人工智能开始引起社会的广泛关注。、深度学习使人工智能发生质变，进化后的人工智能又使人类社会发生质变。人工智能引起的社会变化主要有哪些方面？我认为最主要的是数字覆盖，使世界具有实体和虚拟双重结构，使我们越来越普遍地生活在电脑空间里。
在中国，日常生活各方面的数字化速度非常快，覆盖面也非常广。到现在，大部分日本人还是倾向于用现金在实体店购买商品。2009年我回国后才知道，中国的年轻人那时已经很习惯在淘宝网购物，价格实惠，也很省事和节约时间。在淘宝网购物使用支付宝，是的一种形态。
后来又有微信支付，现在上海的地下车库都采取支付宝或微信支付的方式扫码付费。在餐厅、早点摊位以及农贸市场，人们也广泛采取方式。快递和外卖也特别流行，尤其在新冠疫情防控期间，有利于在保持社交距离的状态下满足日常生活需求。还有交通一卡通，包括车辆电子保险的普及等等。
从这些现象可以看到，中国的日常生活越来越数字化，几乎被数字全覆盖了。
这次疫情更进一步地加强了这个数字覆盖过程，如群体的体温检测、健康码、验证，结果导致整个社会被数字化技术全面覆盖。这是一个非常重要的变化。
数字全覆盖的社会使得我们的日常生活世界产生了电子复制版，所有的活动痕迹可以记录下来，转变成。这样就可以在非常广泛的领域采用人工智能对进行分析，进行预测。在这里，数据的规模越大、质量越好，人工智能的功能也就越强、可预测程度也就越高。总之，这就是当今社会、尤其是中国发生的一种非常本质性的变化：无所不在的数字覆盖和智能跃进。
经济活动的重点对象从资源到数据：在数字覆盖和智能跃进的背景下，数据的经济价值就会越来越明显地呈现出来。
例如淘宝网，可以根据消费场景的行踪，分析购买人的经济状况、行为方式、目前的需求、偏好，再根据这些信息和演算结果推送出相应的商品广告、确定生产计划以及营销模式。
也就是说，在数字覆盖的背景下，企业可以通过人工智能对的分析和预测揭示个人的隐私、推断社会的发展趋势，获得竞争的优势以及盈利的机遇。在这个意义上可以说，数据是有经济价值的。
马云曾经说过：数据就是21世纪的石油，数据就是人工智能社会的生产资料。数字化的经济就是由和人工智能来驱动的。人工智能系统的联结、交错、互动，会构成智能网络化社会。通过智能技术收集数据、应用进行分析和预测，从而决定社会运作方式，我们的整个社会已经变成了一个数据驱动的社会。
在这里，数据不仅具有经济价值，甚至还成为沟通的媒介、交易的通货。显而易见，中国在数据的收集和利用方面是具有独特优势的。
在中国，大约70%的优质数据由国家掌握，没有很强的隐私意识和排他性的权利设置来构成数据的壁垒，这就使各个领域的数据更容易汇集到一起进行处理。也就是说，数据空间没有被过于强势的数据主体格局、没有形成小国寡民的碎片化状态。
在这样的状况下，数据规模与人工智能功能的正比例关系法则就会更加强有力。数据的数量越多、质量越高，人工智能的算法和算力就会越发达，数据的经济价值也就越高。所以，中国的数字经济增长的速度和效益是非常惊人的。当然，在这里我们必须指出，还是不能忽视个人信息安全和隐私保护不足等问题。应该找到一种兼顾数字经济发展与个人信息和隐私保护的制度安排。
为了保护个人信息安全、隐私以及数据权利，为了促进网络交易平台的发展，欧盟曾经做过一个很有代表性的尝试。在1996年，欧盟制定了一个严格保护数据库权利的规定，试图赋予数据以排他性的所有权，试图通过绝对所有权的观念来确保数据的收集和利用限定在法治的轨道上，防止滥用数据的事态发生。
但是，这个法律规定的实施效果并不理想；在欧盟，迄今为止还没有出现像中国BAT（百度、阿里巴巴、）、美国GAFAM（谷歌、亚马逊、脸书、苹果、微软）那样的数字科技交易平台巨头。因为数据或者信息本身具有流动性，如果赋予排他性的数据库权利以及数据所有权，就会牺牲流动性，压抑数字经济以及网络交易平台的发展。但是，我们也不能把隐私和个人信息安全作为和人工智能时代经济发展的牺牲品，因为这样会摧毁自由的基矗关键是如何在功利主义与个人自由之间找到适当的平衡点，防止或减少我们为数字覆盖付出的隐私代价。
市场交易的形态从物品到服务：市场交易的形态也发生了非常大的变化。比如之前的影碟、光盘，是影视和音乐发烧友的重要财产，大家都会设法通过购买来收藏。但到了现在，可以直接在网上下载收看和收听，只需临时购买网络服务，而不需要拥有实体的产品。
还有轿车，也曾经是个人的重要财产乃至身份的象征，但是现在网约车盛行，是否拥有一辆漂亮的轿车并不那么重要了。在这个意义上，出行的座驾也由实体的物件转化成临时购买的交通服务形态。既有的现代法律体系都强调所有权，强调以物品为基础的个人权利的保障。在智能网络化社会，当市场交易的主要形态从物品转向服务时，光碟就消失了，人们觉得买车不如租车，消费者对物品的占有欲望势必减弱。
与此相应，以物权为基础的法律体系也势必发生非常大的变化，商场监管的方式同样也会与过去大不相同。例如阿里巴巴的平台战略促使大量厂商、供应商都到这个巨型平台上来营销，这就会带来法律规制的新问题。为了避免阿里巴巴自己的商誉被透支、滥用，为了保障服务的规格和质量，杜绝假冒伪劣商品，这个平台就必须肩负起监管的职责。
在某种意义上也可以说，交易平台在相当程度上已经代替政府发挥监管的作用，这也是行政服务民营化、市场化的一种方式。当然，与此同时政府还要对巨型的交易平台进行监督和管理，防止垄断和不正当竞争。
社会系统变化的三个基本特征：由于（特别是）的发达、人工智能广泛的应用，导致了不同人工智能系统之间发生密切的关系，互相作用，导致了智能网络化的趋势。人工智能系统各自的目标不同，有可能会发生冲突，它们的互动关系有可能导致的出乎意料的后果。本来人工智能是要进行预测的，但是在人工智能网络化、人工智能可以深度学习的情况下，不可预测性、不可解释性的问题反倒频繁发生。
在有些场合，人工智能越发达，复杂化程度越高，达到的结果精确性越强，人们反倒很难准确地说明这到底是怎样实现的。这就是所谓算法黑箱化。从人工智能治理的角度来看，我们当然希望算法是透明的、可以解释的，但实际上却很难解释清楚算法的原理和机制，因果关系无法验证。这就使得问责原则很难落实。所以算法黑箱化是我们要关注的社会系统实质性变化的第二个方面。深度学习使得人工智能超出人类预设的计划和程序，能够自己归纳出新的行为模式，并根据这样的模式进行运作。
在这里，自然而然会导致对人工智能发展的发展的一个忧虑，即失控。也就是说，人工智能系统的观察、学习、思考、判断、行动能力提高之后，就有可能产生自我意识和独立性，机器自主化了，人类无法对人工智能进行有效的控制。机器人还有可能造反，转而伤害人们。社会系统的上述三种变化，都会影响到制度安排，对法律体系构成严峻的挑战。
在很多方面似乎代码取代法律：在人工智能时代，技术规格往往具有非常重要的意义。有时候，代码可能使法律中现有的权利不能按规定实施，要进行改变。代码的框架有可能使得原来的法律制度安排不得不发生一些变化。在有些场合，事实已经先行，使得法律与现实脱节的问题凸显出来。
人工智能在越来越多地渗透到社会当中去的时候，算法本身就决定了很多事物的运行方式。有一种说法叫做算法独裁，就是指人工智能的算法、软件、代码框架支配一切的事态。在这样的情况下，法律体系确实面临着严峻的挑战。包括对密码资产通过网络共识的方法进行管理，这也是与过去所设想的法律支配是不一样的。
经济和社会全面的数字化迫使法律采取应对举措：目前中国及其他国家，人工智能应用系统发展的速度非常快，数字经济似乎处于野蛮生长的阶段。然而如果过早地进行法律规制，采取强制性措施管理产业和人工智能开发，就有可能压制科技以及数字经济。
另一方面，人们也会抱有深深的忧虑，因为人工智能的高歌猛进，很有可能把人类社会锁进一个特定的路径相关，将来想退也退不出来，或者退出时花费的成本太大。因此，我们应该及时对、以及人工智能的治理和制度设计进行思考和讨论，采取软硬兼施的适当对策。
其中一个非常重要的应对方式就是强调人工智能开发的伦理、原则、政策以及法律的综合治理。如果片面采取法律的规制措施，有可能限制人工智能技术以及相关数字经济的发展，所以我们认为在现阶段软法比硬法更重要。我认为，只有通过这种方式，才能更好地适应目前既要保护人工智能发展，又要对其进行适当限制、防止野蛮生长的社会需要。上海交通大学人工智能治理与法律研究中心聚焦算料（）、算法以及算力中的伦理与法理关系问题，试图构建相应的知识图谱，推动人工智能时代的制度创新。国内法学界以及相关业界都非常关注这方面的进展。
最近上海的商汤智能产业研究院和北京的旷视科技有限公司等来与我们洽谈在人工智能的治理和数据法律等方面开展合作。另外，人工智能技术也广泛应用到法律适用的过程之中，特别在司法领域推进迅猛，包括电子法院、智慧司法、基于的文书自动生成等等。人工智能作为法律决策辅助系统的尝试各国都在积极行动。人工智能直接用于法律决策的情况更复杂一些，涉及很多技术上、价值上的障碍，目前还处于初级阶段，还在摸索之中。
（二）的权利、责任与伦理
在上述背景下，我们再来探讨一些具体的问题，先看。
2020年6月27日，上海开始启动滴滴网约车的服务。之前长沙试行网约车遭到出租车司机的集体抵制，美国亚利桑那州的车辆引起人身事故后各国的态度变得更加慎重。无论如何，普及之前还有很多法律问题有待解决。
首先要考虑共享乘车服务提供者的资质和信用。目前BAT都在提供领域的服务，它们的战略会影响到的服务状况，也会影响权利义务的设置。其次，现有的《道路交通安全法》第19条规定驾驶者的资格要件，人工智能是否也需要获得驾驶执照？第三，如何界定车辆的智能化级别与法律的关系？
一旦导入人工智能，开始只是发挥辅助性作用，或者部分操作自动化；但到了附条件或者完全，软件系统本身就成为责任主体。如果出了问题，是找汽车厂商、程序开发商，还是数据提供商追究赔偿责任？这个责任如何认定？如何分配？第四，人工智能的利用者具有不同的类型，但无论是消费利用还是商务利用，就法律而言，似乎都应该采取利用者免责的原则。
对于而言，利用者基于合同接受服务。这时交易的对象不是车辆，而是移动服务，车辆只是人们移动而提供的一种服务形态。汽车的主要特征是使用了人工智能软件。如果车辆在抵达目的地前抛锚了，意味着服务终结还是换乘其他出租车？在交易对象是车辆时由买主承担后来的风险，但在交易对象是服务时是不是由卖主永远承担后续风险？法律上缺乏明文规定。
按理应该把硬件和软件相区分。如果问题出在软件，你就不能追究汽车厂商的产品责任。但是，嵌入车辆的软件的更新责任又在谁呢？是汽车厂商、还是软件供应商？在车辆故障或因软件瑕疵引起的事故时，会引起一系列复杂的新问题。还有，的人类监控和介入如何进行？如果发生紧急情况，突然由自动改为手动时也会出现混乱，在这种场合责任如何追究？既然上海已经有网约车上路了，这些问题就会迫在眉睫，需要有关机关及时调研和立法，制定的交通安全制度的设计方案。
（三）数据里的经济价值和人格尊严
再看数据的法律问题光谱带。
不言而喻，人工智能离不开数据。人工智能的应用、进一步发展、预测能力的提高都有赖于数据。数据和人工智能之间存在一种正比例的关系。数据的法律问题光谱带包括两端：一端涉及财产权（数据的经济价值、数据处理模型和算法等等的知识产权），另一端涉及个人信息安全、隐私的保障。在现阶段的中国，人口规模大约十四亿、网民人数大约八亿，每天都会产生大约900兆字节的海量数据。
根据2018年的统计，中国产业相关人才的规模全球第一，占比59.5%，比第二位的美国高出37.1个百分点。更值得留意的是，中国数据的公有化程度极高，大约70%以上的优质数据资源由国家掌控。这种状况有利于打破各种局部疆界充分调动数据资源来发展产业经济，也势必促进人工智能在国家治理和法律制度运作方面的广泛应用，但也把个人数据安全和隐私保护问题以更加尖锐的形式呈现出来。
、以及人工智能的“铁三角”，在某些场合很可能剥夺公民对个人信息的自我处分权（隐私权）、人格尊严以及法律面前平等的权利。例如常见的电商和网络平外把个人消费信息作为学习数据使用，分析行为样式并发布对标广告，这是否已经构成对隐私权的侵犯是需要认真考虑的。特别是遗传信息包含那些与生俱来的特性，一旦由人工智能进行解读和外泄就很容易影响个人入学、就业以及加入商业保险，大幅度减少某些公民的人生机遇和选择空间。
在上述两端之间，还存在着数据经济价值的实现和利益分配问题。巨型的网络交易平台利用数据产生利润，但数据主体是谁？因数据而产生的利润的分配是否公正？这些都是非常复杂的法律问题。
关于人工智能引起收入悬殊的问题，有人建议通过向机器人征税，但中国更强调的是通过财政部门来实施合理的、精准的社会二次分配。在这里，制度设计不得不面对某种两难困境：注重个人信息和隐私的保护就有可能妨碍数据以及人工智能方面的产业发展，注重数据驱动的经济效益却又容易侵害个人尊严和隐私，甚至引发信息安全问题。要兼顾这两个方面，就需要认真对待制度设计问题。
值得深入探讨的一种对策是：中国应该考虑设立数据托管机构，对寄存个人数据的主体给予适当的积分奖励。数据托管机构对数据进行匿名化处理，企业可以在通过资质审查后采取缴纳使用费的方式来获得和处理数据，而数据主体也可以适当分享数据产业的利益。在日本，已经出现了设立复数信息银行的构想，个人可以像存款那样把信息储蓄到银行，企业向信息银行借贷个人信息。在中国，也许公共性质的数据托管机构更适合国情。
（四）智能网络的平台治理与代码支配
美国学者劳伦斯莱斯格教授在1999年提出一个命题：Code is la，代码就是法律。如今这样的例子很多。比如，为了保护电视节目的著作权，规定所有的DVD制作按某个技术标准只能复制一次，不能再复制到其他DVD上，以防不法者盈利。但这样也会妨害正常的学习和欣赏。
无论如何，这种现象说明技术规格在相当程度上取代了法律来决定人们的行为方式。目前上海实行的“一网管通”上有政府机关的几乎所有服务项目，健康码成为一个非常方便的应用场景。
然而有关信息收集、数据处理的权限和程序却并没有明确，所依据的法律根据也不清楚，并且可以瞬间改变。实际上，通过网络平台进行数字化治理以及经济活动，各种服务关系很难用法律来明确界定权利、义务关系。
由此可见，人工智能的技术规格和数据的安全分级标准的制定工作已经迫在眉睫，立法也必须及时跟上。在这种背景下，也许将出现“代码与法律并行”的局面。中国存在“礼法并行”的文化传统，还有现代的“法律与政策并行”实践经验，对于代码与法律并行的治理方式也许不会产生抵触。正是在这里，我们可以找到治理方式创新的契机或者切入点。
众所周知，现代法治特别强调的是自由、个人权利的保障。在这里，自由是以隐私和个人财产权为基矗为此需要分权制衡的机制设计，对权力行使进行监督和限制。
由于人工智能的高效性，我们要通过人工来对人工智能进行制衡是有困难的。当人工智能广泛应用于政治决策和法律决策，当算法黑箱化，对权力的监控和问责就会变得比较困难。在这样的情况下，用人工智能来对人工智能进行制衡，用技术来对技术进行制衡也许就是一个合理的选项，这样的分权制衡机制或许今后将变得非常重要。
在这里，值得特别注意的数字化信息沟通技术是。最初是与比特币、数字通货联系在一起的。在这次疫情防控中，中国已经把协议用于社区治理，包括信息登记、体温检测、口罩发放等。从人工智能时代防止对个人隐私的侵犯、通过制衡机制设计解决法律问题的角度来看，可能会发挥关键的作用。简单来说，协议的本质在于使隐私黑箱化，并使系统中枢工作完全自动化。
通过挖矿方式，为人们利用提供诱因，并通过达成网络共识。在这个过程中通过具体的智能合约方式，明确各自的权利和义务。人工智能技术的算法黑箱化，技术的隐私黑箱化，两者形成相反相成的关系，这是一种非常有趣的格局，会对今后的社会治理和法律秩序产生深刻的影响。
（五）结论
总而言之，人工智能是一个规则嵌入系统，它可促使法律的规范严格执行，形成硬法。但是，在智能网络化的情况下，不同人工智能系统之间的互动关系非常频繁而复杂，单凭硬法不免有些简单粗暴，必须借助软法来补充和协调，需要加强沟通和程序公正。
另外，在算法黑箱化的情况下，人工智能系统越复杂出现操作失误的可能性就越大，问责也变得越困难。如果让人工智能系统的开发者、制造者为算法失误承担无限的连带责任，就会妨碍人工智能的发展。为了使这种责任有限化，为了确保智能合约的违约责任能够依法追究，有必要承认机器人的主体资格。实际上，只有当机器人有主体资格时，以人工智能来制衡人工智能的构想才能落到实处。
最后，再梳理一下与人工智能相关的法律问题，可以分为装置、网络、数据、算法、服务等五个方面进行探讨。在这样的背景下，人工智能引起的法律范式创新有什么呢？
一是从物权到服务评价的权利观念变化；
二是从法律到代码的规范形态变化；
三是承认机器人权，以便追究智能合同的违约责任并使人工智能开发者、生产者的责任有限化。
显然，我们面对的法律体系与过去大不相同的。进入2020年以来，我们在不断见证历史的巨变。让我们也一同见证人工智能时代的法制巨变吧！
（源自纽约聊斋第12期云沙龙）