人工智能技术在司法裁判中的运用及规制
2020/6/30 14:02:25  点击率[10]  评论[0]
【法宝引证码】
    【学科类别】人工智能
    【出处】《中外法学》2020年第3期
    【写作时间】2020年
    【中文关键字】人工智能;司法裁判;体制改革
    【全文】

      引言
     
      人工智能技术是近年来科技领域最火热的话题。按照人工智能领域开拓者之一、斯坦福大学尼尔斯·尼尔森的定义,所谓人工智能是指能够在复杂环境下进行感知、推理、学习、沟通等智能化行为的工具或技术,其核心内容包括两个方面,一是令机器做人类所能做之事、甚至比人类做得更好,二是令机器理解由人类或机器甚至其他动物做出的智能化行为。[1]人工智能技术在社会生活的诸多领域已经得到运用,新时代的大门似乎已然开启。
     
      当前的人工智能技术尽管仍处于“弱人工智能”阶段,但已具有人类以往运用的科技所不具有的新特征,其中最核心的是其能够在获取海量数据的基础上,运用“知识图谱+深度学习”等不同类型的算法模仿或理解人类的行为。从理论上看,倘若其在学习能力方面取得突破而实现自我学习,人工智能将可能接近甚至超越人类智能。[2]因此人工智能技术在社会生活中的运用,不仅触发了新的技术路径,也引发了相关的法律和伦理问题,给人们的生活方式带来了重大变革。
     
      司法作为人类社会生活的重要部分,不可能对人工智能技术的运用视而不见、置之事外。一方面,司法必须对人工智能技术引发的法律问题作出回应并解决相关纠纷;另一方面,司法裁判中也有运用人工智能技术的需要。在国外,自上世纪七十年代布鲁斯·布坎南和托马斯·海德里克探讨了人工智能与法律推理的冲突与互动关系之后,[3]相关的论述极多。而在我国,上世纪八十年代钱学森先生最早预测了人工智能在法律中的运用可能,[4]近几年来人工智能逐渐成为法学研究的热点问题。我国学者的研究主要有三个路径:一是从宏观的视角探讨人工智能技术对法律制度和法学研究的影响,[5]二是研究人工智能技术对部门法立法和研究的影响,[6]三是从制度和技术的层面分析人工智能技术运用于司法工作的方式。[7]这些学者的论述,为我们研究人工智能技术在司法裁判中的运用提供了思路和基础。
     
      然而由于人工智能技术与人类以往运用的科技相比,具有前述的模仿和理解人类行为的智能化特征,其在司法裁判中的运用必然与诉讼中的“人”(无论是裁判者还是诉讼参与者)发生互动,因此将在一定程度上改变既有的诉讼方式。于是关键问题在于人工智能技术的运用究竟会促进法的基本价值实现和公民基本权利保障,还是会导致相反结果。具体而言需研究以下问题:人工智能技术运用于司法裁判有无必要、有何风险?其运用于司法裁判应依据何种理念?有无有效规制人工智能技术运用的制度和手段?只有对上述问题加以充分关注、进行理性思考,才能实现人工智能技术对司法裁判的正向服务,特别是发挥人工智能技术在保障公平、正义、效率等法的基本价值和保护公民基本权利这两方面的作用,降低或避免其负面效应。
     
      一、人工智能技术在司法裁判中的运用现状和技术困境
     
      人工智能技术在司法裁判中的运用,其直接目的就在于解决法院所面临的案多人少问题。“诉讼爆炸”、案件数量激增是各国法院面临的共同难题,于是法院不得不改变传统的案件管理和审判方式,引入人工智能技术,帮助法官迅速、准确地审理案件、解决纠纷。然而基于同样的需求,中外法院在人工智能技术运用方面出现了不同的趋向。这与当前人工智能存在技术困境有密切关系,这些技术困境在相当程度上导致了制度风险,从而使得人工智能技术在一些国家的法院“遇冷”。
     
      (一)中外司法裁判中人工智能技术运用的不同趋向
     
      如前所述,人工智能技术的运用是以提高司法效率为直接目标的。以我国为例,2000年全国各级地方人民法院和专门人民法院共受理案件535万余件,[8]但到了2018年这个数字就飙升至2800万件,[9]增幅高达423%,使得各级法院均面临巨大压力。如此数量惊人的案件迫使法院“思变”,在编制受控、员额有限的情况下,运用人工智能技术改革原有的审判和管理方式,是在不大幅增加法官数量的条件下应对案件压力的不二选择。
     
      然而基于提高司法效率的共同目标,中外法院对于司法裁判中运用人工智能技术这一问题又有颇不相同的态度。我国科技界“弯道超车”的创业激情很大程度上影响了司法机关,法院对于人工智能技术运用表现出了高度热情。伴随着法院信息化建设进入以建设“智慧法院”为目标的3.0版本,[10]人工智能技术在司法裁判中的运用也迅速展开。上海市高级人民法院开发的“上海刑事案件智能辅助办案系统”(以下简称“206系统”),在该市三级法院被广泛使用。这套以人工智能技术为核心的审判辅助系统包含单一证据校验、逮捕条件审查、全案证据审查判断、社会危险性评估、类案推送、量刑辅助、语音识别及智能转换等内容,[11]为法院应对海量案件提供了技术路径,因此得到了中央政法委、最高人民法院的高度肯定,并被推广运用于其他省市法院。[12]除上海之外,其他地方法院也开发了各自的人工智能工具,例如北京的“睿法官”、江苏的“法务云”、河北的“智审”、重庆的“法治云”等。人工智能技术的运用与“智慧法院”和互联网法院建设等相结合,使我国法院逐步形成了广泛运用电子化案件卷宗、案件信息公开网站、现代办案和管理平台、类案推送或证据审查等审判辅助系统的新审判方式。
     
      而在其他国家,尽管法院有运用人工智能技术提高司法效率的动力,但似乎其态度较为审慎。以美国为例,尽管联邦法院的“案件管理和电子案件档案系统”(CM/ECF)[13]和“法院电子记录公共访问系统”(PACER)[14]两大信息化系统为人工智能技术的运用打下了基础,亚利桑那、威斯康星等州的法院使用罪犯社会危险性智能评估工具如COMPAS算法,为法官量刑提供帮助,[15]但人工智能技术的运用却常招致异议和批评,使得法院在运用人工智能技术时不得不小心谨慎。而在欧洲,根据欧洲司法效率委员会2016年的“欧洲法院信息技术的运用”专题报告,绝大多数欧洲国家法院运用的人工智能技术还处在“低人工智能”阶段,例如多数欧洲国家法院安装了案件管理系统(如ERP系统),法国和斯洛文尼亚法院在案件管理系统中安装了预警装置,爱尔兰法院配备了语音听写智能软件,爱沙尼亚、立陶宛、罗马尼亚、斯洛文尼亚、瑞典和土耳其法院安装了判决模板系统等等。[16]
     
      表1  部分国家和地区人工智能技术在司法裁判中的运用情况
      相较于我国法院人工智能技术在司法裁判中实质运用的高歌猛进态势和乐观主义态度,其他国家的法院显得保守得多,在司法裁判中运用的人工智能技术主要为工具性的案件辅助系统。这主要是由于法官和民众对人工智能技术的运用心存疑虑,这些疑虑既有伦理性或制度性的,例如担心人工智能技术可能导致裁判中的种族偏见,[25]也有技术性的,例如担心当前的人工智能尚不成熟、运用于司法裁判有技术风险。这些疑虑既不是杞人忧天亦非抱残守缺,分析理解当前人工智能技术运用于司法裁判的风险,是实现其规范运用的必要前提。
     
      (二)人工智能技术运用于司法裁判的技术困境
     
      国外一些法官和民众对人工智能技术风险的疑虑并非无稽。人工智能技术的三大基本要素为数据、算力、算法:数据是人工智能技术的基石,是人工智能技术运行的原料性基础;算力是人工智能技术的保障,海量的数据需要足够的算力予以支撑;算法是人工智能技术的核心,算法的技术水平直接决定了人工智能技术的智能程度。然而当前在司法裁判中运用的人工智能,至少在数据和算法两个基本要素上存在技术困境。
     
      在数据方面,有学者总结当前人工智能技术运用于我国司法裁判主要存在四方面障碍:①法律数据不充分,例如大量裁判文书不上网、裁判者心证过程等决策信息未体现于裁判文书中;②法律数据不真实,例如公开的裁判理由与实际的裁判理由并不一致;③法律数据不客观,不同法官对同一问题可能有不同看法,导致裁判数据的主体性、主观性;④法律数据结构化不足,例如法律语词的不统一导致人工智能识别困难。[26]这些数据方面技术障碍的存在,既有技术本身的原因,例如数据库建设水平低下、人工智能获取数据能力不足等,也有制度性的原因,例如我国当前司法实践中存在的法院正卷副卷“二元化”体制、审判委员会案件审理方式等,都加剧了此种数据方面的技术障碍。事实上,在其他国家,这种数据方面的技术障碍也同样存在,例如英国法律规定的陪审团评议信息不公开制度、[27]法国基于犯罪者回归需要而规定的特定犯罪记录删除制度,[28]都给数据的提供与获取制造了困难。
     
      在算法方面,问题主要体现在两点,一是算法的技术水平较低,二是算法的封闭和秘密性。一方面,当前运用于司法裁判的人工智能技术主要是以知识图谱为主流算法的,通过知识图谱描摹案件的主要构成要件和证据构成,[29]距离人工智能科技企业宣称的“知识图谱+深度学习”的算法还有相当大的差距,加之知识图谱构建中信息抽取能力的欠缺,知识图谱构建的速度和精度都严重不足,[30]使得运用于司法裁判的人工智能技术十分初级,削弱了法官运用此类人工智能技术的意愿。另一方面,基于技术保密、商业利益等因素的考虑,运用于司法裁判的人工智能算法通常不公开,法官或诉讼参与人对于秘密的算法往往心存顾虑,加之法律专业人士以及普通民众对于专业性极强的算法难以理解,即便向其公开往往也令其一头雾水。由于算法的封闭性和秘密性特征,法官对人工智能技术容易产生疏离感,而人工智能科技企业也可能故意利用算法的封闭性和秘密性,宣称其采用较为高阶的算法而实际使用较为低端的算法“忽悠”法院和法官。
     
      当前人工智能存在的技术障碍,可能在其运用于司法裁判时投下制度“阴影”。例如针对美国各州使用的罪犯社会危险性智能评估工具COMPAS就曾发生宪法诉讼并引发社会的激烈争论。在卢米斯诉威斯康星州案中,[31]卢米斯因量刑环节法院运用COMPAS工具对其进行危险性评估、判其重刑而提起诉讼。该案的核心争议点在于:法院的量刑裁判是依靠COMPAS工具评估被告人的社会危险性而作出的,但由于COMPAS工具有专利方面的保密性,被告人无法质疑COMPAS工具的准确性和科学性,且COMPAS将性别和种族等因素作为评估的内容,这是否侵犯了被告人正当程序的宪法性权利?尽管威斯康星州最高法院裁判驳回了卢米斯的上诉,联邦最高法院最终也拒绝对此案签发调卷令,从而使得该案终结,但该案引发的争论却远未停息,许多批评者认为这样的判决无论在程序还是实体方面都有违公正。该案说明,人工智能技术在司法裁判的运用尽管可以大大减轻法官的工作量而加快诉讼的进程,但“暗箱操作”的算法可能预先存在偏见却又无法向辩方公开接受审查,或即便向辩方公开,辩方也无审查算法之能力,使得人们对于其侵害公民正当程序之宪法性权利、并最终损害司法公正的可能性产生怀疑。[32]
     
      二、人工智能技术在司法裁判中运用的现实风险
     
      由于人工智能面临上文所述的技术困境,且运用人工智能技术会导致既有制度变革,因而可能带来许多风险。从价值平衡、公民权利保护、权力配置、权力运行的视角看,最重要的风险包括对公正价值的冲击、对当事人诉讼权利的影响、对审判权独占原则的削弱和与法官独立审判原则的冲突四个方面。
     
      (一)对公正价值的冲击
     
      人工智能技术运用于司法裁判的直接动力即来自法院面对巨大案件数量负担时的提高司法效率需求,正如新西兰司法部长安德鲁·布里奇曼所言,在司法裁判中引入人工智能技术的目的“尤其在于减少人们解决纠纷所需的时间,如果这些标准无法达到,则我们就无需作出这些改变”。[33]由效率价值驱动的人工智能技术,在其运用过程中也会反向强化对司法效率的追求,倘若对此不加限制,极有可能诱使法院过度重视完成案件审理的手段和途径,从而陷入人工智能技术带来的效率至上的狂热中,影响司法公正尤其是程序公正的实现。例如通过“文件倾倒”[34]的方式侵害阅卷权和对质权的实现、因人工智能技术运用导致有罪推定风险增大而致使举证责任的实际转移等。
     
      更令人感到恐惧的是,倘若人工智能技术的设计者预先将自己对于司法裁判中某一问题已有的“刻板观念”(stereotype),例如针对某一特殊群体如同性恋、性服务从业人员的歧视观念或针对某一类案件如家暴案件、性侵案件的特殊情绪,加入到特定人工智能程序而运用于司法裁判中,则可能在运用此种模式化程序大大加快案件审理进程的同时导致对实体公正的损害、甚至导致错误裁判。
     
      正视上述人工智能技术运用于司法裁判而带来的冲击公正价值的风险,卢曼的警告似乎具有了预见性:“科技的介入不是有助于减少审判的不确定性,而是增加了审判的不确定性。”[35]此种担忧绝不仅是理论上的可能,上文所述的卢米斯案引发的问题和争议就是典型例子。事实上,不仅是人工智能算法存在影响司法公正的可能性,人工智能相关的其他应用、措施、技术等也会导致此种风险。倘若对此种风险视而不见或放任自流,则人工智能技术运用于司法裁判将与其最初目标背道而驰,甚至走向反法治的不归路。
     
      (二)对当事人诉讼权利的影响
     
      诉讼应以两造平等对抗、法官居中裁判而形成稳定之三角结构,即便在刑事诉讼、行政诉讼中一方以国家力量为后盾的情形下,法律仍通过刻意限制公权力、保障公民权利而实现诉讼“当事人化”。这是因为诉讼本是论理的过程,若当事双方力量对比相差悬殊,则平等论理的基础将不复存在,而出现“谁强谁有理、谁声音大谁有理”的局面,法院也无法“兼听则明”,导致诉讼无论在实体还是程序上都偏离司法公正的基本要求。从这个意义上看,维护诉讼三角结构、保障公民权利,就是维护司法运行的基础。然而,在司法裁判中运用人工智能技术,可能对诉讼三角结构造成一定影响:公权力机关因人工智能技术的运用可能在诉讼能力上有重大的提升,有学者甚至认为可能因此导致诉讼结构失衡而引发“新的不平等”,[36]从而侵害公民权利。对于这种影响,主要存在以下三方面的疑虑:
     
      第一,人工智能技术是否会将法院打造成为“强横”的裁判者、以威胁公民诉讼权利?在上文所述的卢米斯案中,因运用人工智能技术而呈现出的法院“强横”姿态就曾引起争议,法院以人工智能工具COMPAS辅助量刑而决定剥夺被告人自由时长,却拒绝向被告人公开算法,不免有“强权专断”[37]之嫌。因法院运用人工智能技术的裁判方式改变,首先可能影响法官的心证过程:传统上法官的裁判主要是基于双方在诉讼中的举证、质证而作出的,然而类案推送、量刑辅助、模型构建等人工智能技术的运用,使得法官越来越依赖于这些工具,令当事双方的举证、质证对法官心证的影响效果减弱,甚至使法官依据人工智能技术在审理之前即已形成预断,而对当事双方的意见充耳不闻。另外,人工智能技术的运用也可能使司法公开走向形式化:一方面语音智能转化等人工智能技术的运用使得庭审文字直播等新型审判方式成为可能,有助于审判公开;但另一方面,人工智能技术的运用增加了当事人阅卷权行使的技术难度,减损了司法公开的效果,导致司法公开的形式化,对此下文将详述。
     
      第二,在刑事诉讼中,人工智能技术的运用是否会导致控辩力量失衡、辩方辩护权受损?尽管在刑事诉讼中,控方较之于辩方的力量优势自古存在,但随着现代科技手段的运用,控方的力量优势更为明显,而人工智能技术可能进一步加大控辩双方的力量差距。从追诉的最初阶段,犯罪预测等人工智能工具就使控方在刑事立案之前即可以主动收集不利于被追诉人的有罪证据,从而取得“先发优势”。而在侦查中由于控方的人工智能技术运用,其取证能力和分析运用证据的能力将大幅提升,从而再获得取证能力方面的绝对优势。由于侦查机关刑事初查和侦查结论对后续案件办理的决定性作用,这种优势将贯穿整个诉讼程序。此外,尽管法律规定在特定时间段控方需向辩方开示证据,例如我国《刑事诉讼法》第40条规定,“辩护律师自人民检察院对案件审查起诉之日起,可以查阅、摘抄、复制本案的案卷材料。其他辩护人经人民法院、人民检察院许可,也可以查阅、摘抄、复制上述材料”,然而控方运用人工智能工具形成的证据和诉讼文书,一来其形成过程往往因为人工智能算法的专利属性而无法向辩方公开,二来即便向辩方公开,辩方也未必有分析和理解此种算法的技术能力,于是这种旨在缩小控辩双方力量差距的单向证据开示制度也可能因为人工智能技术的运用而变得有名无实。
     
      第三,在行政诉讼中,行政机关是否会因在诉讼中运用人工智能技术获得诉讼优势、增加公民的胜诉难度?当下无论司法机关还是行政机关对于数据、信息的运用都十分重视,许多机关都在进行与其工作相关的数据库建设,更为重要的是,这些数据库在一定程度上逐步实现“互联互通”“共建共享”。[38]一旦行政机关涉行政诉讼而成为被告,即可能利用数据库的互通关系、运用人工智能工具从司法数据库中抓取信息,以获得诉讼优势。例如,公安机关兼具行政执法和刑事侦查的双重职能,在实践中其行为常在行政与刑事属性之间发生转换,若公安机关被诉行政行为违法,则其不但可以从本机关的刑事数据库中获得对于己方在行政案件中胜诉有利的数据,还可以通过“政法机关信息共享平台”[39]等大数据平台利用人工智能技术获得数据,甚至可能通过共享平台推送数据而影响法院裁判。如此一来,作为被告的行政机关在行政诉讼中具有一定的优势,增加了原告公民的胜诉难度。
     
      (三)对审判权独占原则的削弱
     
      审判权是国家权力,在现代社会由国家独占、只归属于专门的司法机关。我国法律明确规定了审判权独占原则,《刑事诉讼法》第3条规定,“……审判由人民法院负责。除法律特别规定的以外,其他任何机关、团体和个人都无权行使这些权力。”《民事诉讼法》第6条规定,“民事案件的审判权由人民法院行使。”审判权独占是保证审判权独立运行、防止外来干预、保障案件公正审理的基石,符合国家权力配置的原理。
     
      然而人工智能技术的运用,可能削弱审判权独占原则。正如学者所指出的,由于法律界对数据统计与分析技术陌生、对大数据算法几乎完全外行、对人工智能缺乏客观认识等原因,[40]几乎没有任何一个国家的法院能依靠自己或法律界人士完成人工智能技术运用于司法裁判这项宏大的工程,于是借助科技界和企业的力量、甚至将某些相关工作外包就成为必然的选择。上文所述的COMPAS工具即是由Northpointe公司研发后得到美国各州法院广泛采用的,此外LawGeex法律文书书写审查系统是由律师诺瑞·巴彻(Noory Bechor)和人工智能专家依兰·阿德蒙(Ilan Admon)合作开发的,[41]著名的Modria智能在线纠纷解决平台是属于泰勒科技公司(Tyler Technologies)的。[42]在我国,相关企业也积极参与人工智能技术运用于司法裁判的工作:例如科大讯飞研发的讯飞语音识别系统、人民法院出版社研发的“法信”类案检索系统等在司法实践中得到了广泛的应用;再如在上海市高院研发“206系统”的过程中,直接参与研发工作的人员合计700余人,其中包括由科大讯飞派出的技术人员300余人,[43]来自科技企业的人员成为司法人工智能系统研发的技术主力。中央对借力科技企业、甚至将某些司法辅助工作外包给企业的做法持支持态度,原中央政法委书记孟建柱曾提出“通过司法辅助事务外包等方式,降低司法成本,提高办案效率”,[44]最高人民法院院长周强也曾多次提出探索“辅助业务社会化外包”的做法,[45]这些司法辅助业务就包括司法人工智能技术开发和运用。尽管当前允许社会化外包的主要是司法辅助业务,但由于存在技术人员或司法辅助人员通过人工智能的运用影响裁判的可能性,此种社会化外包可能导致部分审判权力的实际外包。另外在实践中很难将外包工作中的司法工作和司法辅助业务做条分缕析的明确界定,因此这种社会化外包与审判权独占原则存在冲突之可能。
     
      除此之外,将与人工智能技术相关的司法辅助业务外包,还存在两点隐忧。第一,企业有追逐利益的本能,这点与公平正义的司法首要价值目标有重大差异,在这个问题上,参与人工智能技术运用于司法裁判工作或承包司法辅助业务的科技企业也不例外。在利益的驱动下,一方面企业可能将其核心技术投入利润更丰厚的领域,例如金融、销售等,相比于这些领域,法律领域相对“穷酸”,未必能够吸引最精尖的人才和技术,[46]换而言之,司法裁判领域运用的人工智能技术可能只是科技企业核心技术之外的“边角料”;另一方面企业可能利用法律人对科技领域的无知陌生和人工智能算法的封闭性秘密性特征,以“低人工智能”“忽悠”法院,甚至以“伪人工智能”成果交差,从中谋取非法经济利益、侵吞国帑。第二,司法辅助业务外包,涉及政府采购产品和服务的行为,有巨大的经济利益存在其中,例如招标采购环节利润惊人,导致或增加了发生腐败行为的风险,甚至存在某些法院领导或工作人员与企业内外勾结、从中渔利的可能性,对此必须有充分的认识和足够的警惕,并需从程序规范、审查审计、纪律惩戒、违法调查、刑事追诉等方面予以防范。
     
      (四)与法官独立审判原则的冲突
     
      现代科技创制的工具在司法裁判中的运用是时代的潮流,然而无论以网络技术、大数据技术还是人工智能技术为基础的工具,往往是排除了价值判断后的产物,均具有以普遍性、非人格性为特征的形式合理性品格。[47]也正因为工具具有此种形式合理性品格,用于司法裁判中才能实现可计算性、可重复性和可置换性等方面的技术逻辑,[48]才可能通过其运用提高司法效率。人工智能也不例外,去情感化、去价值判断化是运用于司法裁判中的人工智能技术的基本特征。
     
      然而司法裁判有着区别于技术的逻辑,司法裁判是超越形式合理性的,司法裁判关于是非好坏善恶的判断本身就含有价值评判的内容。此外,法院面对的每个案件都有不同的情节、诉求,需要通过案件的具体审理释明法理、定分止争,这一系列的工作显然是不可能用一套预先设置的人工智能算法计算出案件结论而完成的。从历史的经验看,承认司法裁判的超越形式理性特征,放弃欧洲中世纪的法定证据制度、改采强调以法官自由裁量为基础的自由心证制度,正是人类司法史上的重大进步。面对抽象规则和纷繁复杂个案之间可能发生的矛盾、具体案件中可能存在的法理与人情的冲突,尊重法官的独立审判权,是实现实质正义的必然要求,也是符合司法基本原理的。
     
      然而当秉持技术逻辑、具有形式合理性品格的人工智能技术运用于司法裁判时,难免干预法官的独立审判权。上文所述的卢米斯诉威斯康辛州案,COMPAS工具依据预先设置的科学算法、通过计算被告人的社会危险性并推荐量刑范围,而法官依照工具推荐的量刑范围作出裁判,意味着法官放弃了部分审判权而将其交由工具,工具的计算结果实际上决定了案件的处理结果。事实上,除了量刑辅助智能工具之外,其他许多司法实践中广泛运用的人工智能技术如类案推荐、偏离预警等系统均可能干预法官的审判权。[49]
     
      于是一个很现实的问题就摆在我们面前了:如果人工智能做出的结论与法官的裁判出现明显差别时,以何者为准?这个问题的答案看似显而易见,法官作为案件的审理者拥有对案件的最终裁判权,自然应当以法官的结论为准。但实际上回答这个问题并不容易:当法官发现自己的结论与以“科学”为名运行的人工智能做出的结论大相径庭时,是否能够坚守自己的结论而不向人工智能投降?法官拒绝采纳人工智能做出的结论,是否需承受来自自我内心和上级施加的巨大压力、是否可能导致不利的后果?法官若接受人工智能做出的结论,一旦发生错案,是否可将责任推给人工智能,即人工智能是否可能成为追究错案责任的挡箭牌?面对这些难题,即便不是所有、恐怕也有许多法官会向人工智能技术妥协。
     
      如果承认上述的人工智能技术侵犯法官独立审判权是一种现实的可能,那么我们又要进而考虑两个更深层次的问题。其一,人工智能技术的运用是否可能导致技术人员或司法辅助人员实际地行使了部分的案件审判权?既然法官可能倾向于采纳人工智能的结论,那么“算力即权力”[50]即是现实,人工智能的背后实际是涉及相应算法和程序的技术人员以及操作管理人工智能的司法辅助人员,这些人员可能通过人工智能技术将其观念、意志等体现在案件裁判结果中,与法官独立行使审判权的原则相悖。其二,人工智能做出的结论是否能为民众所接受、是否影响司法的权威?司法的权威在一定程度上是以民众对案件处理结果的接受度为基础的,然而冰冷的、排除了价值判断的、运行过程高深难懂又不公开的“阿尔法法官”,[51]其做出的结论是否能为民众所接受是很值得怀疑的;若强令民众接受,可能对司法的权威造成损伤,不免得不偿失。
     
      三、人工智能技术在司法裁判中运用的基本理念
     
      一方面,风险是与收益相对应的,“没有风险自然就没有收益”,[52]尽管存在上述风险,却不能因此否定或放弃司法裁判中的人工智能技术运用;另一方面,只要对作为事前概念的“风险”进行有效的控制、在管理中将风险关口前移,就能够预防和避免作为事后概念的“损失”的发生。[53]人工智能技术在司法裁判中的运用同样如此,在整个社会的科技发展大潮下,人工智能技术运用于司法裁判是历史的必然趋势,通过充分认识其风险,加强对人工智能技术运用的规制,可以有效控制风险。针对上文所述的风险,具体需处理好以下四组关系:
     
      (一)公正价值与效率价值的关系
     
      如前所述,人工智能技术运用于司法裁判,最直接的动力即来自于对司法效率这一价值的追求。然而,司法裁判的价值向来多元,公正、秩序、效率等均为我所欲也,需要小心平衡这些人类所珍视的价值,因为司法“如同桅杆顶尖,对船身最轻微的运动也会作出强烈的摆动”。[54]如果对某一种价值的追求热情过度,则可能导致价值平衡的天平倾斜、对其他价值的实现造成影响。
     
      在以上诸多价值中,对于司法裁判而言,公正事关公民的生命、自由、财产等核心利益,必然是首要价值。甚至可以说司法就是以公正为根本的,丧失了公正的司法将毫无意义。从价值层级的划分视角上看,对司法而言,公正是第一层级的基础性价值,而效率显然逊色是第二层级的价值,因此当公正价值与效率价值发生冲突时,司法自然应当遵循公正优先、兼顾效率的原则,不能为了效率而放松甚至放弃对司法公正的追求。
     
      针对人工智能技术运用于司法裁判中追求效率之本能,尤其应当强调公正为本的理念,不能为了追求效率而放弃对公正的追求,否则就将本末倒置。对于公正价值的强调,除了应当重视人工智能技术对案件实体公正的影响,如类案推荐、量刑辅助等干预定罪量刑准确性之外,更应当关注人工智能技术的运用与程序公正的关系,特别是对当事人诉讼权利的影响,从而通过限制公权力、保障公民权利的路径实现程序的公正、正当。
     
      然而对于公正优先于效率的理念之坚持,需再做两方面的分析理解。一方面,司法裁判中公正优先于效率是就整体而言的,对此不能做绝对的僵化理解。在具体个案或具体类型的案件中,可以根据案件的情况适度强调效率价值,在合理的界限内强调效率并不应当被视作对公正价值的侵犯,甚至因为“迟到的正义非正义”,在一些情形下强调效率本身就促进了公正的实现。例如刑事案件中被追诉人被羁押时,适当提高效率可以避免贝卡里亚所言的“法官懒懒散散,而犯人却凄苦不堪”[55]现象的出现,对于公正价值的实现有积极意义。另一方面,人工智能技术的运用本身,除了实现司法效率的价值之外,对于司法公正也有积极意义。例如类案推送、量刑辅助等人工智能工具,可以有效解决同案不同判的司法难题,防止司法裁判的地域差异,从而促进公正价值的实现。正如孟建柱同志所言,人工智能技术的运用可以“减少司法任意性,既提高审判效率,又促进司法公正”。[56]从这个意义上看,不能只强调人工智能技术运用的效率价值导向,也应当认识到其对促进司法公正的正面作用。
     
      (二)“工具理性”与人类福祉的关系
     
      “工具理性”和“价值理性”二分的观念来自马克思·韦伯,他区分“目的合理性行为”和“价值合理性行为”,认为“谁若根据目的、手段和附带后果来作他的行为的取向,而且同时既把手段与目的,也把目的与附带结果,以及最后把各种可能的目的相比较,做出合乎理性的权衡,这就是目的合乎理性的行动”,而“谁要是无视可以预见的后果,他的行动服务于他对义务、尊严、美、宗教训示、孝顺、或者某一件‘事’的重要性的信念,不管什么形式的,他坚信必须这样做,这就是纯粹的价值合乎理性的行为。”[57]但司法裁判并不存在非此即彼、非黑即白的二分法,它既需要对目的、手段、后果进行功利性考量,也需要有对司法公正、正直等价值的关怀。“工具理性”使得司法裁判具有客观、规范、可预测的特征,而“价值理性”使得司法追求真与善的统一、具有人性的温度,二者应在司法裁判的场域内实现微妙的平衡。
     
      然而人工智能技术的引入可能导致过度强调“工具理性”而忽视“价值理性”,对原有的“工具理性”与“价值理性”平衡造成冲击。人工智能技术的作用极易被夸大,诱使人们狂热追求通过工具实现的目的完成之满足感,忽视甚至放弃对“人类所独有的用以调节和控制人的欲望和行为的一种精神力量”[58]的价值理性的追求。而对价值合乎理性要求的忽视和放弃,则可能进一步导致对司法裁判中“人”的重要性的贬低和忽略,侵犯人的裁判权,致使工具凌驾于人之上。
     
      为防止此种情况的出现,需要平衡“工具理性”与“价值理性”的关系,应以功利主义哲学中追求人的“最大幸福”之理念予以引导,以实现“所有利益相关的人的最大幸福”作为在司法裁判中运用人工智能技术的“唯一正确适当并普遍期望的目的”,[59]强调技术对人的服务与满足。事实上,在处理人与机器或技术的关系问题上,人们一直秉持着此种理念:数十年前著名科幻小说家阿西莫夫就曾提出“机器人三法则”,[60]其基础即在于优先保障人类;韩国政府起草的《机器人伦理宪章》则要求保证人类能够控制机器人、保护机器人获得的数据、禁止人类违法使用机器人、防止人类虐待机器人;[61]欧盟的《人工智能伦理准则》要求人工智能技术运用遵循七项原则:人的能动性和监督能力、安全性、隐私数据管理、透明度、包容性、社会福祉、问责机制。[62]这些规则或文件之核心均在于要求技术和工具的运用以保障人的福祉为前提。同理,人工智能技术运用于司法裁判,同样应当始终强调人工智能技术服务于人的理念,即人工智能技术运用仍应以保护人的权利和福祉为其伦理基础,从而实现“工具理性”和人类福祉的再平衡。
     
      (三)开放理念与审慎态度的关系
     
      人工智能技术的发展日新月异、速度惊人,新概念、新技术不断涌现,这与司法传统的稳定、被动特征形成了鲜明差异甚至冲突。正如波斯纳所言,法院系统的“更大挑战是,针对技术和科学(包括社会科学)的背景变换(这与确认事实的陈旧方法有冲突),如何在具体案件中明智适用教义。”[63]这种差异和冲突,根本原因在于现代社会功能的分化导致科技与司法有不同的运作规则和独立结构,[64]因此人工智能技术和司法从业者也往往有不同的思维观念和行为方式,既不可能也不必要强令二者并肩同向而行。然而这并不意味着司法与人工智能技术发展之间不能有“交集”,甚至恰恰相反,人工智能技术在社会生活中的运用必然将是全方位的,[65]也必然在司法裁判中得到体现。
     
      对于司法而言,以何种态度对待或运用人工智能技术,在一定程度上决定了司法实践的样态,司法既不能固步自封,也不能盲目跟风。一方面,应当认识到人工智能技术运用于司法裁判的历史必然性。人工智能技术使得社会结构形态发生变化,导致一些学者所称的“智能利维坦”[66]的出现,资源分配方式日趋呈现去中心化、扁平化的特征,传统上由国家或政府垄断的公权力受到冲击和分散,于是国家权力结构的重塑就变得十分必要了。在此种情形下,“推进国家治理体系和治理能力现代化”[67]就成为现代国家治理方式的改革目标,电子政务等依托智能化技术的新型治理手段必然得到广泛运用,既推动了政府工作的高效精准、提升了国家治理的质量,也方便了公众的参与、加快形成多元主体协同发挥作用的新型治理结构。作为国家治理体系的重要组成部分,司法只能顺应这种时代潮流,对于人工智能技术的运用秉持开放理念。
     
      另一方面,司法对待人工智能技术的运用应有相对审慎的态度。其一,人工智能技术的发展速度过于惊人,每时每刻都有新的进展,若在其后面跟风追赶,司法永远也赶不上人工智能技术发展和变革的节奏和步伐。其二,人工智能技术的发展是以惊人的失败率和错误率为代价的,这种失败和错误对于技术发展而言是必须付出的必要成本,而倘若此种失败和错误发生在司法裁判中而导致案件处理的错误,可能是以公民的生命、自由、财产、隐私等重要法益为代价的,也是作为“维护社会公平正义的最后一道防线”[68]的司法所无法承受的。因此,在运用人工智能技术时,司法需要静待技术的试验、沉淀,尽可能采用已为实践证明可靠、不存在伦理和法律争议的技术,并通过试点等方式观察其运用效果,避免其对司法权的平稳运行造成过大的冲击。
     
      目前人工智能技术仍处在初级发展阶段,不仅本身存在许多亟需解决的技术难题,而且由于经济利益的刺激,不少“伪人工智能”产品大行其道、靠“忽悠”圈钱。而在司法裁判运用中,人工智能技术也面临着“图谱构建过度依赖人工干预、情节提取的自然语义识别技术准确度不足、类案识别的准确率偏低、模型训练的样本瑕疵、量刑算法的非可视化、偏离度预警的颗粒度悖论等技术瓶颈”,[69]呈现出一种“低智能化”的样态。因此面对此种情形,在司法裁判中运用人工智能技术时既要心态开放也要保持冷静,以免被“伪人工智能”产品欺骗,更需预防存在技术障碍的人工智能技术带来的案件错误裁判风险。
     
      (四)裁判方式创新与司法体制改革的关系
     
      在我国,人工智能技术运用于司法裁判是司法体制改革内容的一部分。既然要“把深化司法体制改革和现代科技应用结合起来”,[70]则人工智能技术运用就不得违背司法体制改革的基本要求,而应促进司法体制改革目标的落实,其中相关性最高的是“以审判为中心”和“司法责任制”。
     
      十八届四中全会提出“推进以审判为中心的诉讼制度改革”,而后有相关的司法文件确定改革的具体落实方案。[71]“以审判为中心”的改革关键在于强化审判权在司法权力配置和运行中的核心地位、强调第一审程序在认定事实和适用法律方面的重要作用、实现庭审的实质化。[72]人工智能技术运用于司法裁判,也应当强化而非削弱审判权在司法中的核心地位和庭审实质化。在诉讼中,法院运用人工智能技术审查来自双方的证据时,应当始终保持中立、超然,不得在算法应用方面有所偏倚。此外,刑事诉讼中法院应对人工智能技术运用带来的有罪推定风险加以警惕:一方面,犯罪治理活动在刑事立案前可能已提前启动,犯罪预测工具、案件初查辅助工具等人工智能技术收集的信息可能强化公安执法人员的有罪推定倾向;另一方面,基于刑事司法的程序连接需要,法院和警务信息化、检务信息化平台之间存在密切的联动关系,[73]通过信息的共享和互动,信息背后隐含的有罪推定倾向也会被传递到审判机关,最终作用于法官的心证过程。因此,在使用人工智能技术时,应当始终强调“以审判为中心”的理念,防范有罪推定风险,避免“侦查中心主义”重现。
     
      司法体制改革的另一项重要内容是“司法责任制”,十八届三中全会提出“完善主审法官、合议庭办案责任制,让审理者裁判、由裁判者负责”,十八届四中全会再次强调“完善主审法官、合议庭、主任检察官、主办侦查员办案责任制,落实谁办案谁负责”。[74]“司法责任制”有三个层次的要求,一是职权配置方面要求“让审理者裁判”,二是责任承担方面要求“由裁判者负责”,三是错案追究方面要求一旦发生错案即进行追责。[75]人工智能技术运用于司法裁判应当顺应上述要求:一方面,人工智能技术的运用不得侵犯审理者的独立审判权,不能使人工智能成为实际的案件裁判者,以致形成“程序员、软件工程师、数据处理商、信息技术公司与法官共同作出决定的局面”。[76]另一方面,为防止人工智能工具成为裁判者在发生错案时推卸责任的“甩锅”对象,致使案件裁判者逃避错案追责,也应当以司法责任制的“让审理者裁判、由裁判者负责”之理念进一步明确案件裁判者和人工智能技术之间的主体与工具的关系。
     
      四、人工智能技术在司法裁判中的规制路径
     
      遵循上述人工智能技术运用于司法裁判的基本理念,可以通过四个维度对其进行规制,包括明确人工智能技术在司法裁判中的定位和适用范围、保障当事人诉讼权利、适度分离司法裁判活动与人工智能产业、调整法官考核评价机制,以实现其对法治的促进作用。
     
      (一)场域之维:人工智能技术在司法裁判中的定位和适用范围
     
      司法裁判中运用人工智能技术时应当首先明确地将人工智能技术定位为司法辅助工具。随着司法裁判中人工智能技术运用的数量和水平越来越高,人们对于人工智能是否将取代法官进行审判产生了疑虑。尽管科技界和法律界的一些学者认为,不但人类思考的过程最终可以用算力越来越强大的计算机来模拟和取代,[77]而且社会的组织机制包括法律最终也可以由机器来操作和管理,[78]但这种观点恐怕是过于乐观的。司法裁判的内容包罗万象,其过程往往包含情理分析、价值判断,“人的纠纷只能由人来解决,唯有此,才能确保法官秉持正义之剑将有温度的公正裁决推送于当事人面前”。[79]另外,考虑到当事人和社会对人工智能技术和机器审判的接受还需要长期的过程,至少在可预见的未来,将人工智能技术定位为司法辅助工具是准确和适宜的。[80]此种定位有助于厘清法官和人工智能技术的职司差别,明确法官在司法裁判中的主导地位,防止司法裁判中工具的喧宾夺主。对于这个问题,我国最高司法机关是有较为准确的理解的,例如最高人民法院院长周强就曾指出“要立足于发挥人工智能的辅助办案功能”,[81]不过高层对此问题的准确定位仍有可能在司法实践中被忽视,因此需时常强调这一基本理念并防范其在实践中“跑偏”。
     
      既然将人工智能技术定位为司法辅助工具,为保证其踏踏实实地履行辅助工具之职司而不会对法官的裁判权造成过大影响,就应当对其运用领域作出划定,令其“有所为有所不为”。
     
      第一,在通过司法裁判确立规则即“法官造法”的问题上,应当明确禁止人工智能的干预。在英美法系,由于“遵循先例”的原则,“造法”是法官的一项重要职能;而在秉承大陆法系传统的国家例如我国,法律虽无关于法官造法的明确规定,但通过司法裁判确立规则是现实存在的,如我国最高人民法院公布的指导性案例常常为各级法院所参考遵照。这些通过司法裁判确立的规则具有多样性特征、又可能升格为较高位阶的规则,[82]例如被司法解释所采纳,甚至为法律所吸收。如果这些规则的制定过程允许人工智能的干预,实际上不但是对司法权的侵害,最终还可能影响立法权。“造法”、立法的过程需要大量价值判断和社会情感投入,而这是人工智能技术作为工具所不擅长甚至不具备的,因此这个领域应被视为司法中的人工智能技术运用禁区,严禁人工智能“造法”。
     
      第二,在刑事案件审理过程中,对人工智能技术的运用一般应该限于辅助量刑。刑事诉讼涉及公民的生命、财产、自由等最核心权利,兹事体大,社会对刑事案件的容错率极低,因此必须万分谨慎。另外,许多刑事案件的案情复杂或涉及诸多法益,例如贿赂、强奸等案件往往属于“一对一”的犯罪,错案发生的可能性较高,需要考量的因素较多。有时候刑事案件的审理还需要理解纷繁复杂证据背后的“天理人情”,否则可能作出冰冷僵硬、看似合法的“错案”,例如内蒙古“收购玉米案”、天津“大妈持枪案”等。[83]因此在刑事案件中,对于案件事实的认定和法律适用中的定罪问题,一般应当排斥人工智能的干预。应将人工智能技术的运用限定于案件事实认定清楚、罪名确定之后的量刑程序,通过人工智能技术运用提出量刑建议,由法官最终做出裁判。这样既符合人工智能的技术特点,也有利于实现案件审判的良好效果。特别是在被告人认罪的案件中,一旦确定此种认罪自愿合法,则案件往往无需进行正式审判、或审判程序从简,[84]此时可以运用人工智能技术的辅助由法官进行迅速之量刑。
     
      第三,在行政案件审理过程中,人工智能技术不宜用于判断行政行为的合法性。“民告官”的行政诉讼主要解决的是行政行为的合法性问题,而行政行为合法性的审查中包含很大部分的价值判断内容,而这正是去价值判断化的人工智能的“弱项”。因此在行政案件中的法律适用问题上,尤其是判断行政行为是否合法的问题上,人工智能技术运用的余地较为有限。然而对于行政案件的其他一些问题,例如案件证据的收集、审查方面,人工智能技术可以发挥较为积极的作用,如前所述,随着国家机关间信息共享平台的建成,法院也可以通过这类平台利用人工智能工具抓取相关数据和证据,从而协助法官完成对行政案件的审判工作。
     
      第四,在民事案件审理过程中,一般而言人工智能技术可以有较大的运用空间。民事案件中,法院通常遵循不告不理、消极被动的原则,案件的事实判断较为严格地取决于原被告双方的举证,且证明标准一般为相对较低的“优势证据”,因此可以运用人工智能技术根据双方的举证作出事实判断和法律适用的辅助性意见,由法官作出最终的裁判。这些案件中,在尊重法官的裁判权的前提下,人工智能技术可以发挥较为积极的辅助作用。不过民事案件也存在一些例外,例如婚姻家庭类案件,往往涉及人类情感和家庭伦理关系,特别是离婚案件中需判断夫妻感情是否破裂的问题,人工智能对此往往无能为力,因此在民事诉讼中人工智能技术在整体发挥较大作用的情况下,也会受具体案件性质的影响而限缩其适用空间。
     
      (二)制度之维:当事人诉讼权利的保障
     
      如前所述,人工智能技术运用于司法裁判可能对既有的诉讼结构形成冲击,尤其可能使得公权力机关的力量大幅提升,因而为平衡诉讼三方,特别是在刑事诉讼和行政诉讼中,应当对当事人的诉讼权利予以补强,从而实现诉讼结构的重新稳定。
     
      第一,应当强化诉讼中的信息开示制度,将刑事诉讼中的阅卷权改造为“数据访问权”。刑事诉讼和行政诉讼中均有证据开示的相关制度,例如行政诉讼中的庭前证据交换制度、[85]刑事诉讼中辩方享有阅卷权等。[86]以阅卷权制度为例,基于平衡控辩双方力量的理念,法律要求控审方向辩方进行单向开示,允许辩方查阅、摘抄、复制证据材料和诉讼文书这两类案卷材料。然而随着人工智能技术的运用,公权力机关运用人工智能技术抓取的数据将远远超越传统意义上的证据材料和诉讼文书的范围,使得辩方的阅卷权出现“盲区”,从而影响阅卷权目的的实现。在此种情形下,可以考虑将传统的阅卷权改造为“数据访问权”,即数据主体可以从数据控制者处确认其个人数据是否正被处理、并在此种情形下可以访问个人数据及获得相关信息的权利。[87]如此,一来可以明确该权利的主体即为被追诉之人,而辩护人是协助其行使此项权利之人,解决阅卷权制度下权利主体不明的问题;[88]二来可以扩大被追诉人获得数据的范围,超越原有“证据材料和诉讼文书”的范围限制,拓展至可能作用于法官心证、对被告人的定罪量刑或重要程序性权利问题可能造成影响的数据;三来基于数据访问权主动行使的特征,既可以避免传统阅卷权制度下要求法检批准导致阅卷难的覆辙,又可以通过设置时间和特殊情形的限制避免此种权利的滥用。
     
      第二,应当为当事人提供专业人士的帮助。仅依靠当事人本人或其辩护人、诉讼代理人的能力,是不足以应对人工智能技术运用于司法裁判后带来的诉讼变革的。特别是当检察法院或行政机关等公权力机构运用人工智能技术获得大量与诉讼相关的数据后,很可能有意或无意地向当事人进行“文件倾倒”。公权力机关看似完成了信息开示,实际上陷当事人于海量数据的汪洋中,使其无法获得真正重要和有意义的信息,于是当事人急需来自专业人士的帮助。事实上,当事人获得专业人士帮助已有规范基础,《刑事诉讼法》第197条第2款、《民事诉讼法》第79条均规定了“有专门知识的人出庭”制度,从而为专家辅助人参与诉讼提供了依据。大可以据此对该制度进行扩张,允许当事人向专家辅助人寻求数据获取和分析等技术方面的帮助,从而应对人工智能技术运用于司法裁判后的挑战。
     
      第三,应当赋予当事人个人信息保护方面的权利,特别是被遗忘权。科技时代下国家成为个人信息最大的收集、处理、存储和利用者,迫使隐私权保护走向个人信息保护成为必然的社会和法治变迁过程。[89]司法裁判中引入人工智能技术,强化了国家通过诉讼收集使用个人信息的能力,使得作为信息主体的当事人运用其信息权利保护个人信息安全的需求更为迫切。欧盟2018年5月实施的《一般数据保护条例》(GDPR)赋予公民大量相关信息权利,即可被视为对此种需求的应对。在各种信息权利中,被遗忘权是当事人针对诉讼中人工智能技术运用导致的信息失控风险最有效的救济途径。所谓被遗忘权,是指信息主体在其个人信息不再有合法使用之需时要求将其删除或不再使用的权利。这项权利在民事领域已得到确认和运用,在司法领域中亦应当赋予当事人此项权利,允许信息主体在案件审结后的特定情形下以申请的方式要求封存或删除涉诉个人信息,从而减弱因人工智能技术运用带来的国家强力控制个人信息的风险。当然,这一权利的行使也须有所限制,避免其滥用导致侵害公众知情权、言论自由和新闻自由、公共安全等重要法益。[90]
     
      (三)边界之维:司法裁判工作与人工智能产业的适度分离
     
      为避免科技企业通过人工智能技术在司法裁判中的运用,将其观念、利益诉求等“注入”智能化工具以影响司法裁判,从而威胁审判权独占原则,甚至影响法官独立行使审判权,应当将司法与产业作适度的分离,使二者间保持既足以合作又不至于互相干预的合理距离。
     
      第一,利益的分离。企业追求经济利益是其本能,只要合理合法,乃是天经地义之事;但司法追求的“利益”却主要是案件公平公正的处理,与企业的利益存在巨大区别。在法院与企业之间作利益的分离,方能保证二者不致混淆勾兑,从而保障审判权独立运行,以实现司法公正。此种利益的分离首先即是要确保人工智能技术引入司法裁判中的科技招标采购环节的廉洁性,以透明公开的招标采购程序、严格的审计审查和惩戒措施防止企业对经济利益的不当追求对法院工作人员造成侵蚀,导致二者利益的混同,甚至导致贪贿行为的出现。
     
      第二,人员的分离。法院缺少人工智能技术运用所需的科技专业技术人员,因此在技术的运用、培训、维护、修缮等方面往往要借助来自企业的人力资源,例如上文所述的上海市高院在开发“206系统”的过程中就有大量来自科大讯飞公司的技术人员参与。法院借用科技企业的专业技术人员,这种做法无可厚非,甚至也符合中央关于司法辅助业务外包的改革思路。然而为防止这些人员与法官“过从甚密”而干预司法或产生干预司法之嫌,应当在二者之间设置障碍以划定其交往界限。具体而言,对来自企业的技术人员的借用,应通过法院的后勤保障部门处理,审判部门或法官寻求此类专业人员的帮助时应通过后勤保障部门协助统一安排,不宜由审判部门或法官个人直接接触这些人员。如此一来,可以在法官和来自企业的专业技术人员之间形成必要的阻断,防止科技企业利用其人员与法官之间因人工智能技术引入司法裁判而产生的交往进行利益输送或观念灌输,影响案件的公正办理。
     
      第三,职司的分离。既然人工智能技术的运用“不是要替代司法人员独立判断”,而是“帮助司法人员依法、全面、规范收集和审查证据,统一司法尺度,保障司法公正”,[91]那么科技企业在这轮人工智能进法院的浪潮中的作用也可依此定位。为保障法官在案件办理中的独立判断和权威,特别是其独立审判权,应制定企业参与人工智能技术运用于司法裁判的行为规则,明确科技企业的辅助角色。具体而言,科技企业的作用应限于对人工智能产品的开发、维护、更新等技术层面上,而在司法人工智能产品的设计目标、应用要求等方面应当由法院主导。在产品开发设计的过程中,要十分警惕科技企业将其利益、观念等,特别是针对特殊人群如妇女、儿童、少数族裔、同性恋群体等的歧视性偏见,利用程序、算法等加入人工智能工具之中,从而在智能化工具的运用中实际地影响案件的公正办理。此外,更要严禁科技企业通过开发和设计带有倾向性的人工智能工具干预具体个案或某类案件(例如涉及科技企业的知识产权纠纷案件)的办理,防止其利用人工智能技术在司法裁判中的运用谋取私利。
     
      (四)导向之维:法官考核评价机制的调整
     
      考核评价机制对法官的职级晋升、薪酬收入、评定优劣等均有重大影响,直接涉及法官个人的切身利益,有“指挥棒”作用,会反向影响法官的行为方式。法官会本能地根据考核评价机制的要求,相应地调整其行为方式,以期获得职业发展。从某种意义上看,有什么样的考核评价机制,就有什么样的法官行为方式,特别是有什么样的裁判方式,从而决定了有什么样的司法形态。因此2015年《最高人民法院关于全面深化人民法院改革的意见——人民法院第四个五年改革纲要(2014--2018)》提出要“完善法官业绩评价体系”并“建立科学合理、客观公正、符合规律的法官业绩评价机制,完善评价标准”,从而“将评价结果作为法官等级晋升、择优遴选的重要依据”,[92]兹事体大、不可不慎。
     
      然而,人工智能技术的运用给法官的考核评价机制带来了一些变化,最主要的体现在两个方面。一是实施考核评价的主体发生改变,人工智能技术引入后把原来主要由人进行的考核评价机制改变成主要由智能化软件和应用进行的考核评价机制。评价者的改变对法官考核评价机制的直接影响是客观评价的比重上升、主观评价的重要性下降,考核评价机制的机械性倾向加强。二是考核评价的指标发生变化,法官对人工智能技术的运用本身也被纳入了考核的内容,法官运用人工智能技术的次数、方式等成为考核评价指标的一部分,例如一些法院将“信息化应用”作为专门的考核指标之一。[93]这使得法官不得不在办案时注意甚至刻意加强对人工智能技术的运用,给法官带来了办理案件之外的压力。
     
      面对人工智能技术运用于司法裁判带来的变化,构建“科学合理、客观公正、符合规律”的法官考核评价机制应遵循三项要求。第一,对法官的考核评价要确保功能性评估与效果性评估的结合、客观评价与主观评价的结合,以实现考核评价机制的科学公允、避免其僵化机械。第二,对法官的考核评价应以保障法官的独立审判权为前提,不得因为法官拒绝接受人工智能提出的审判辅助建议而对其施以负面评价,否则将使人工智能凌驾于法官之上而导致人工智能裁判。第三,对法官的考核评价中应取消对其运用人工智能技术的量化要求,法官是否运用、如何运用人工智能技术,本质上属于裁判方法和技巧方面的问题,应当允许因人而异,不宜做统一的硬性规定。
     
      为实现有效评估,在人工智能技术运用于司法裁判的背景下,更应合理设置考核指标,对法官考核评价机制进行完善。一是应当剔除不当的考核评价指标,将强制法官运用人工智能技术的内容排除在考核评价机制之外;二是应当在重视立案率、结案率等功能性指标的同时,结合考虑错案率、裁判自动履行率、执行率等效果性指标,实现考核评价机制中功能性指标与效果性指标的平衡;三是应实现客观评价与主观评价的结合,避免因由智能化软件和应用进行考核评价导致对主观评价的忽视,使得考核评价结论偏离实际情况;四是应对指标权重进行合理分配,对不同部门、办理不同类型案件的法官进行区别,根据不同部门不同案件的具体情况设计类型化的考核评价指标,避免一刀切。唯有如此,才能在人工智能技术运用于司法裁判之时避免对法官形成不当的考核评价,致使法官因遵循司法规律办案而蒙受利益损失,甚至最终迫使法官作出不当的行为,导致该机制与其最初目标的背反。
     
      五、结语
     
      “一个新的文明正在兴起”,[94]人工智能技术在社会生活中的运用已是无可逆转的时代大势,其运用于司法裁判也是这种时代大势的必然结果。面对人工智能技术运用于司法裁判的现实与未来,超越对人工智能技术的“初步认识和迷恋”,[95]“不识时务”地分析其现实风险、探讨其应有之理念并研究规制途径,不但必要而且有益。这种分析和研究非但不会因此排斥、抵制或否定人工智能技术在司法裁判中的运用,反而可以促使我们采取积极的行动防范风险以趋利避害,使得人工智能技术在法治的轨道内发挥更大的作用。
     
      欲实现人工智能技术在司法裁判中的运用对法治核心价值的支持和对公民基本权利的保障,首要的问题在于确保其契合司法基本规律和原则。司法权的运行有其自有之原理,公正优先兼顾效率、保护公民权利、审判权独占、法官独立审判等均是已为历史所证明的正确选择,人工智能技术的运用也不能违背这些基本规律和原则。于是根据我国司法体制改革的基本要求,对人工智能技术采取正确的态度,明确人工智能技术的定位并限制其适用范围、加强对当事人诉讼权利的保障、确保司法与产业的适度分离、调整法官考核评估机制,应当可以实现科技运用于司法裁判的“服务人民群众”[96]的首要目标,使人工智能技术的运用具有伦理上的正当性,防止其结果与最初的目的南辕北辙。

    【作者简介】
    郑曦,北京外国语大学法学院副教授。
    【注释】
    本文为2019年度国家社会科学基金青年项目“个人信息保护视域下的刑事诉讼领域被遗忘权研究”(项目批准号:19CFX032)的阶段性成果。
      [1]Nils J. Nilsson, Artificial Intelligence: A New Synthesis, Morgan Kaufmann Publisher, Inc., 1998, pp.1-2.
      [2]也有科学家认为“强人工智能”或“超级智能”短期内甚至永远不会出现。参见李开复:《AI·未来》,浙江人民出版社2018年版,第169页。
      [3]Bruce G. Buchanan and Thomas E. Headrick, “Some Speculation about Artificia lIntelligence and Legal Reasoning”, Stanford Law Review, Vol.23, No.1, 1970, p.40.
      [4]参见钱学森:“现代科学技术与法学研究和法制建设”, 《政法论坛》1985年第3期,第1页。
      [5]例如有学者认为应以法理学为人工智能法律系统提供理论指导,参见张保生:“人工智能法律系统的法理学思考”, 《法学评论》2001年第5期,第11页;有学者认为应开拓与人工智能相兼容的法律议论方式,参见季卫东:“人工智能时代的法律议论”, 《法学研究》2019年第6期,第32页;有学者认为应当建立多元互动的风险规制体系以规避人工智能带来的社会风险,参见马长山:“人工智能的社会风险及其法律规制”, 《法律科学》2018年第6期,第47页;有学者认为人工智能时代下自由和权利的主要威胁将是横向上的非国家力量,参见齐延平:“论人工智能时代法律场景的变迁”, 《法律科学》2018年第4期,第37页;还有学者认为对人工智能的研究应避免盲目跟风而应回归学术研究的理性轨道,参见刘艳红:“人工智能法学研究的反智化批判”, 《东方法学》2019年第5期,第119页。
      [6]例如刘宪权教授对刑法如何应对人工智能的研究,参见刘宪权:“人工智能时代我国刑罚体系重构的法理基础”, 《法律科学》2018年第4期,第47页;刘宪权:“人工智能时代的刑事风险与刑法应对”, 《法商研究》2018年第1期,第3页;吴汉东、王迁等教授对人工智能对知识产权法的挑战的研究,参见吴汉东:“人工智能生成发明的专利法之问”, 《当代法学》2019年第4期,第24页;王迁:“论人工智能生成的内容在著作权法中的定性”, 《法律科学》2017年第5期,第148页;许明月、谭玲:“论人工智能创作物的邻接权保护——理论证成与制度安排”, 《比较法研究》2018年第6期,第42页。
      [7]例如有学者认为目前由于技术和司法逻辑方面的原因,人工智能的司法运用存在现实困难,参见左卫民:“如何通过人工智能实现类案类判”, 《中国法律评论》2018年第2期,第26页;王禄生:“司法大数据与人工智能开发的技术障碍”, 《中国法律评论》2018年第2期,第46页;有学者认为司法工作中引入人工智能的前提条件必须以促进与推动司法体制改革为原则,参见钱大军:“司法人工智能的中国进程:功能替代与结构强化”, 《法学评论》2018年第5期,第138页;有学者研究了人工智能运用于事实认定的方式,参见栗峥:“人工智能与事实认定”, 《法学研究》2020年第1期,第117页;有学者认为以互联网法院为试点有助于推进“互联网+”、人工智能等技术的运用,参见洪冬英:“司法如何面向‘互联网+’与人工智能等技术革新”, 《法学》2018年第11期,第169页;还有学者认为人工智能裁判的运行逻辑和审判中心主义的内在机理存在冲突,应予以消解,参见胡铭、张传玺:“人工智能裁判与审判中心主义的冲突及其消解”, 《东南学术》2020年第1期,第213页。
      [8]参见肖扬:“最高人民法院工作报告——2001年3月10日在第九届全国人民代表大会第四次会议上”,载中国政府网,http://www.gov.cn/test/2015-06/11/content_2878032.htm,最后访问日期:2019年10月21日。
      [9]参见周强:“最高人民法院工作报告——2019年3月12日在第十三届全国人民代表大会第二次会议上”,载中国法院网,https://www.chinacourt.org/article/detail/2019/03/id/3791943.shtml,最后访问日期:2019年10月21日。
      [10]2016年1月,最高人民法院院长周强在最高人民法院信息化建设工作领导小组2016年第一次全体会议首次提出要建设立足于时代发展前沿的“智慧法院”;同年2月,最高人民法院通过《人民法院信息化建设五年发展规划(2016-2020)》和《最高人民法院信息化建设五年发展规划(2016-2020)》,明确提出“构建以数据为中心的人民法院信息化3.0版本”。
      [11]参见崔亚东:《人工智能与司法现代化——“以审判为中心的诉讼制度改革:上海刑事案件智能辅助办案系统”的实践与思考》,上海人民出版社2019年版,第111-116页。
      [12]例如2018年1月22日中央政法委书记郭声琨在中央政法工作会议上要求“其他省区市要认真学习借鉴,应用好上海刑事案件智能辅助办案系统软件”。
      [13]登录CM/ECF系统需获得联邦法院授权,未经许可的登录系违法行为。各个法院的登录入口不同,例如德克萨斯州西区联邦地区法院的入口为https://ecf.txwd.uscourts.gov/cgi-bin/login.pl,最后访问日期:2020年5月6日。
      [14]美国法院网站,http://www.uscourts.gov/court-records/find-case-pacer,最后访问日期:2020年5月6日。
      [15]COMPAS即Correctional Offender Management Profiling for Alternative Sanctions的缩写。 Gwen van Eijk, “Socioeconomic Marginality in Sentencing: The Built-in Bias in Risk Assessment Tools and the Reproduction of Social Inequality”, Punishment & Society, Vol.23, No.1, 2016, pp.463-481.
      [16]European Commission for the Efficiency of Justice, European Judicial Systems Efficiency and Quality of Justice”,https://rm.coe.int/european-judicial-systems-efficiency-and-quality-of-justice-cepej-stud/1680788229, last visited on 21 October 2019.
      [17]同上注。
      [18]新加坡法院网站,https://www.statecourts.gov.sg/SmallClaims/Pages/Using-CJTS.aspx,最后访 问日期:2019年10月21 日。
      [19]韩国法院网站,http://eng.scourt.go.kr/eng/judiciary/eCourt/eTrials.jsp,最后访问日期:2019年10月21日。
      [20]新西兰司法部网站,https://wwwj.ustice.govt.nz/about/lawyers-and-service-providers/service-providers/audio-visual-facilities-in-courts/,最后访问日期:2019年10月21日。
      [21]印度国家司法数据网格网站,http://njdg.ecourts.gov.in/njdg_public/,最后访问日期:2019年10月21日。
      [22]尼日利亚国家司法部网站,http://www.nji.gov.ng/images/Workshop_Papers/2017/IT_Work-shop/s4.pdf,最后访问日期:2019年10月21日。
      [23]阿布扎比全球市场法院网站,https://adgm.com/doing-business/adgm-courts/electronic-services/,最后访问日期:2019年10月21日。
      [24]肯尼亚司法网站,https://www.judiciary.go.ke/news/cj-launches-commercial-justice-sector-reform-project/,最后访问日期:2019年10月21日。
      [25]“2019世界人工智能大会法治论坛主题演讲专家观点集萃(九)”,载山西省法学会网站,http://www.shanxilawsociety.org.cn/newsshow/4205.html,最后访问日期:2019年10月21日。
      [26]参见左卫民:“关于法律人工智能在中国运用前景的若干思考”, 《清华法学》2018年第2期,第114-117页。
      [27]根据英国《2015年刑事审判与法院法》第74条的规定,故意公开陪审员评议信息可能构成犯罪。参见《世界各国刑事诉讼法》编辑委员会:《世界各国刑事诉讼法·欧洲卷(下)》,中国检察出版社2016年版,第2313页。
      [28]法国《刑事诉讼法典》第770条规定,在特定情况下未成年人犯罪的相关记录可以被彻底销毁。参见《法国刑事诉讼法典》,罗结珍译,中国法制出版社2006年版,第612页。
      [29]参见左卫民,见前注[26],第117-118页。
      [30]参见王禄生,见前注[7],第50页。
      [31]Loomis v. Wisconsin, 881N. W.2d749(2016).
      [32]参见李本:“美国司法实践中的人工智能:问题与挑战”, 《中国法律评论》2018年第2期,第55-56页。
      [33]Andrew Bridgman, Information Technology in the New Zealand Court System”, http://www.lawsociety, org.nz/practice-resources/the-business-of-law/practice-systems-and-tools/information-technology-in-the-new-Zealand-court-system, last visited on 21 October 2019.
      [34]Brandon L. Garrett, “Eig Data and Due Process”, Cornell Law Review Online, Vol.99, 2014, p.209.
      [35]Niklas Luhmann, “Legal Argumentation: An Analysis of its Form”, The Modern Law Review, Vol.58, No.3, 1995, p.294.
      [36]参见范忠信:“人工智能法理困惑的保守主义思考”, 《探索与争鸣》2018年第9期,第79页。
      [37]齐延平,见前注[5],第42页。
      [38]参见邵俊:“刑事诉讼信息共建共享问题研究”, 《浙江工商大学学报》2019年第1期,第36页。
      [39]田力男:“论‘办案信息共享平台’建设及对公安讯问新挑战”, 《浙江工商大学学报》2019年第1期,第27页。
      [40]参见左卫民,见前注[26],第119页。
      [41]参见LawGeex网站,https://wwwl.awgeex.com/aboutus/,最后访问日期:2020年5月6日。
      [42]参见泰勒科技公司网站,https://www.tylertech.com/solutions-products/modria,最后访问日期:2020年5月6日。
      [43]参见崔亚东,见前注[11],第100页。
      [44]李阳:“孟建柱在全国司法体制改革推进会上强调主动拥抱新一轮科技革命全面深化司法体制改革努力创造更高水平的社会主义司法文明”,载《人民法院报》2017年7月12日,第1版。
      [45]罗书臻:“周强在省以下人民法院内设机构改革工作部署视频会上强调深入贯彻落实党中央决策部署扎实推进省以下人民法院内设机构改革”,载《人民法院报》2018年6月16日,第1版。
      [46]以我国为例,2018年1月,科技部发布国家重点研发计划(司法专题任务),第一批投入4.5亿元研究法、检、司的科技问题,数额之大令法律人咋舌。但这一数字与互联网销售“双十一”动辄千亿的销售额和百亿的利润相比,简直不值一提。
      [47]参见徐骏:“智慧法院的法理审思”, 《法学》2017年第3期,第59页。
      [48]参见何颖:“政治学视域下工具理性的功能”, 《政治学研究》2010年第4期,第92页。
      [49]亦有学者认为应否压缩和排除法官的自由裁量本身属于法政策上的评价问题,因此通过人工智能等信息化手段压缩和排除法官的自由裁量根本上是一个司法政策的问题。参见冯洁:“人工智能对司法裁判理论的挑战:回应及其限度”, 《华东政法大学学报》2018年第2期,第30页。
      [50]郑戈:“算法的法律与法律的算法”, 《中国法律评论》2018年第2期,第69页。
      [51]何帆:“我们离‘阿尔法法官’还有多远?”, 《浙江人大》2017年第5期,第47页。
      [52]谢志华:“内部控制、公司治理、风险管理:关系与整合”, 《会计研究》2007年第10期,第44页。
      [53]参见张琴、陈柳钦:“风险管理理论沿袭和研究趋势综述”, 《中国证券期货》2008年第10期,第68页。
      [54](德)拉德布鲁赫:《法学导论》,米健、朱林译,中国大百科全书出版社1997年版,第120页。
      [55](意)贝卡里亚:《论犯罪与刑罚》,黄风译,中国法制出版社2005年版,第69页。
      [56]李阳:“孟建柱在贵州调研时强调善于运用科技创新成果不断提升政法综治工作智能化水平”,载《人民法院报》2016年9月23日,第1版。
      [57]参见(德)马克思·韦伯:《经济与社会(上卷)》,林荣远译,商务出版社1997年版,第57页。
      [58]吴增基:《理性精神的呼唤》,上海人民出版社2001年版,第2页。
      [59](英)边沁:《道德与立法原理导论》,时殷弘译,商务印书馆2000年版,第57页。
      [60]第一法则为机器人不得伤害人类个体,或者目睹人类个体将遭受危险而袖手不管;第二法则为机器人必须服从人给予它的命令,除非该命令与第一法则冲突;第三法则为机器人在不违反第一、第二法则的情况下要尽可能保护自己的安全。
      [61]参见吴汉东:“人工智能时代的制度安排与法律规制”, 《法律科学》2017年第5期,第133页。
      [62]方莹馨:“欧盟发布人工智能伦理准则”,载《人民日报》2019年4月11日,第17版。
      [63](美)理查德·波斯纳:《各行其是:法学与司法》,苏力、邱遥堃译,中国政法大学出版社2017年版,第28页。
      [64]参见刘涛:“科技与刑事司法互动的系统论观察”, 《政治与法律》2018年第12期,第139页。
      [65]人工智能的应用分为四波浪潮:互联网智能化、商业智能化、实体世界智能化、自主智能化。参见李开复,见前注[2],第119页。
      [66]齐延平,见前注[5],第37页。
      [67]“决胜全面建成小康社会夺取新时代中国特色社会主义伟大胜利——习近平同志代表第十八届中央委员会向大会作的报告摘登”,载《人民日报》2017年10月19日,第2版。
      [68]习近平:“关于《中共中央关于全面推进依法治国若干重大问题的决定》的说明”,载《人民日报》2014年10月29日,第2版。
      [69]王禄生,见前注[7],第46页。
      [70]“习近平对司法体制改革作出重要指示强调坚定不移推进司法体制改革坚定不移走中国特色社会主义法治道路”,载《法制日报》2017年7月11日,第1版。
      [71]参见《中共中央关于全面推进依法治国若干重大问题的决定》《最高人民法院、最高人民检察院、公安部、国家安全部、司法部关于推进以审判为中心的刑事诉讼制度改革的意见》《最高人民法院关于全面推进以审判为中心的刑事诉讼制度改革的实施意见》。
      [72]卞建林:“以审判为中心:刑事诉讼制度的重大改革”, 《紫光阁》2016年第12期,第46-47页。
      [73]2011年公安部、最高人民法院、最高人民检察院等十五个部委联合发布《关于建立实名制信息快速查询协作执法机制的实施意见》, 2016年最高人民法院、公安部联合发布《关于建立快速查询信息共享及网络执行查控协作工作机制的意见》,均涉及公检法等机关信息共享问题。
      [74]参见《中共中央关于全面深化改革若干重大问题的决定》《中共中央关于全面推进依法治国若干重大问题的决定》。
      [75]参见胡云腾:“司法责任制是司法改革的牛鼻子”,载《法制日报》2017年4月26日,第9版。
      [76]季卫东:“人工智能时代的司法权之变”, 《东方法学》2018年第1期,第132页。
      [77]郑戈,见前注[50],第76页。
      [78]郑戈:“人工智能与法律的未来”, 《探索与争鸣》2017年第10期,第78页。
      [79]潘庸鲁:“人工智能介入司法领域的价值与定位”, 《探索与争鸣》2017年第10期,第106页。
      [80]参见季卫东,见前注[76],第133页。
      [81]宁杰:“周强在浙江调研时强调为高质量发展提供优质的司法服务”,载《人民法院报》2018年11月2日,第1版。
      [82]参见黄京平:“刑事司法人工智能的负面清单”, 《探索与争鸣》2017年第10期,第88页。
      [83]内蒙古农民王力军因无证收购玉米赚取些许差价被判非法经营罪,后经最高人民法院指令再审被判无罪;天津大妈赵春华因摆设(气球)射击摊位而被判非法持有枪支罪。
      [84]例如根据我国的认罪认罚从宽制度,被告人自愿认罪认罚后,审理程序从简,如适用速裁程序。如《中华人民共和国刑事诉讼法》(2018年修正)第222条规定:“基层人民法院管辖的可能判处三年有期徒刑以下刑罚的案件,案件事实清楚,证据确实、充分,被告人认罪认罚并同意适用速裁程序的,可以适用速裁程序,由审判员一人独任审判。”
      [85]《最高人民法院关于适用<中华人民共和国行政诉讼法>的解释》第38条规定:“对于案情比较复杂或者证据数量较多的案件,人民法院可以组织当事人在开庭前向对方出示或者交换证据,并将交换证据清单的情况记录在卷。”
      [86]《中华人民共和国刑事诉讼法》(2018年修正)第40条规定:“辩护律师自人民检察院对案件审查起诉之日起,可以查阅、摘抄、复制本案的案卷材料。其他辩护人经人民法院、人民检察院许可,也可以查阅、摘抄、复制上述材料。”
      [87]欧盟《一般数据保护条例》(GDPR)第15条。参见京东法律研究院:《欧盟数据宪章:《一般数据保护条例》(GDPR)评述及实务指引》,法律出版社2018年版,第238页。
      [88]对于阅卷权究竟是辩护人的权利还是被追诉人的权利向来存在争议,参见陈学权:“论被追诉人本人的阅卷权”, 《法商研究》2019年第4期,第102页。
      [89]参见张新宝:“从隐私到个人信息:利益再衡量的理论与制度安排”, 《中国法学》2015年第3期,第39页。
      [90]参见郑曦:“‘被遗忘’的权利:刑事司法视野下被遗忘权的适用”, 《学习与探索》2016年第4期,第64-65页。
      [91]李阳,见前注[44],第1版。
      [92]《最高人民法院关于全面深化人民法院改革的意见——人民法院第四个五年改革纲要(2014--2018)》,载中国法院网,https://www.chinacourt.org/law/detail/2015/02/id/148096.shtml,最后访问日期:2020年5月6日。
      [93]参见王静:“法官绩效考核制度实证研究——基于地方性规则样本的分析”, 《中国应用法学》2018年第6期,第24页。
      [94](美)阿尔温·托夫勒:《第三次浪潮》,朱志焱、潘琪、张焱译,生活·读书·新知三联书店1983年版,第43页。
      [95]於兴中:“当法律遇上人工智能”,载《法制日报》2016年3月28日,第7版。
      [96]最高人民法院院长周强指出3.0版本的“智慧法院”建设要着眼于服务人民群众、服务审判执行、服务司法管理。参见宁杰:“周强主持召开最高人民法院专题会议分析审判执行工作运行态势强调全面深化司法改革促进审判质效提升”,载《人民法院报》2016年7月26日,第1版。

    本网站文章仅代表作者个人观点,不代表本网站的观点与看法。
    转载请注明出自北大法律信息网
0
北大法律信息网
www.chinalawinfo.com
法律动态
网站简介
合作意向
网站地图
资源导航
版权声明
北大法宝
www.pkulaw.cn
法宝动态
法宝优势
经典客户
免费试用
产品服务
专业定制
购买指南
邮件订阅
法律会刊
北大英华
www.pkulaw.com
英华简介
主要业务
产品列表
英华网站
联系我们
用户反馈
返回顶部
二维码