OpenAI宣布允许网站拦截网络爬虫,保障数据隐私

2023-08-09 10:30:09柴政固
导读 【ITBEAR科技资讯】8月8日消息,随着人工智能技术的迅猛发展,大型语言模型成为AI领域的一大热点。OpenAI旗下的GPT模型在自然语言处理方面

【ITBEAR科技资讯】8月8日消息,随着人工智能技术的迅猛发展,大型语言模型成为AI领域的一大热点。OpenAI旗下的GPT模型在自然语言处理方面取得了显著的进展,但在训练过程中却涉及到一系列问题,如数据隐私和版权等。

据了解,为了训练GPT模型,OpenAI需要大量的网络数据,而互联网上的数据成为主要的获取来源。然而,这种数据获取方式引发了许多争议。一方面,网站运营者担心其网站内容被GPTBot这样的网络爬虫获取,可能涉及隐私信息或侵犯版权。为此,OpenAI近日推出了一个新功能,允许网站运营者通过Robots.txt文件或屏蔽IP地址的方式,阻止GPTBot访问其网站,以保护数据的隐私和版权。

然而,这并不意味着之前从网站上抓取的内容会追溯性地从ChatGPT的训练数据中删除。这也引发了一些网站和创作者的担忧,他们担心其内容未经授权或未付费就被用于训练GPT模型,进而用于商业用途。一些网站已经采取措施限制AI公司免费使用其用户内容的行为,以维护用户的隐私和版权权益。

对于OpenAI而言,确保数据使用的合法性和透明性显得尤为重要。他们在博客文章中表示,使用GPTBot用户代理抓取的网页内容将会被筛选,过滤掉那些需要付费访问、包含个人身份信息(PII)或违反其政策的文本来源。这样的做法旨在提高AI模型的准确性、通用能力和安全性,从而更好地服务用户。

免责声明:本文由用户上传,如有侵权请联系删除!