我用ChatGPT付费版做问卷调研，猜猜比文心一言强多少？

• 上次我用文心一言设计问卷，将其与ChatGPT去年设计的问卷的对比，发文心一年碾压ChatGPT。

不过这样跨时一年的对比显然不公平，而且评论区点赞最多的留言认为，百度有自己的网盘所以肯定更懂，应该换个话题：

所以，我这次就换成了「AI工具」问卷调研，并且改用了ChatGPT和文心一言双方的付费版，这下应该公平不少吧？

以下是我用同一个问题得到的结果：

结果文心一言正常，ChatGPT给的都是一堆问题没有选项。

后来在两句话之间加入一句“包含问题和选项”，再问双方，才得到这两份回答。

我发现ChatGPT比去年进步了不少，果然1年的时间加付费版，影响力是很大的。

但ChatGPT这会比文心一言更强了吗？

接下来我们就来从5个方面对比一下，分别是：完整度、问题类型、人群分析、问题选择和选项设计。

完整度

文心一言有标题、跳转规则和结语：

ChatGPT虽然没有上面这些，但有2个段落标题。不过，对填写者来说这种段落标题可有可无。

从数量上看，文心一言之有10道题，ChatGPT有13道题。也就是说整体问题数量差别不大。

总体来说，我还是觉得文心一言的问卷好点。

问题类型

ChatGPT最后3道题都是开放问答题，这个是文心一言问卷没有的问题类型。

我自己做问卷调研时，其实挺不喜欢开放题的，一是大多人不好好填，二是分析的时候特别麻烦。而且，我感觉第11题和13题有点重复？

所以这三道开放题，对我来说加分不多。

文心一言邀请填写者留下联系方式，可用作邀请访谈或测试，这个是ChatGPT没有的问题类型。

我几乎每次做问卷都会尽量在最后加个这种题，收集到的联系方式说不定哪天能用得上，而且到时候可以从问卷样本中挑选最合适的人来访谈或测试。

所以文心一言的这道题，对我来说重要性挺高的。

两相比较，我依旧认为文心一言这次更胜一筹。

人群分析

很多时候，我们做问卷调研是要做人群分析的，例如拿去做用户画像之类的。

这一方面ChatGPT的问卷有个明显的优势——有四道基本信息的题目，询问年龄、性别、职业和学历。

虽然，我通常不会把这些问题放在前面，但有总比没有好。

文心一言的问卷虽然没问这些基本信息，但问了用不用AI工具，如果不用的话就跳转到最后一题询问原因。

我觉得这个问题也挺有用的，我自己做问卷也会这样筛选一下目标人群。

不过，只要问卷标题里有「AI工具」这个关键词，去填的基本都是使用的了，这个筛选就算没特别大影响。

所以这一环节，我认为ChatGPT更胜一筹。

问题选择

ChatGPT的问卷比文心一言多了「AI工具名称」和「使用原因」两个话题：

而文心一言的问卷多了「得知途径」和「价格」两个问题：

究竟哪个更好？

ChatGPT多的那两个问题很适合做竞品研究；而文心一言的那两个问题更适合做市场调研。

我当时提问时，说到这个问卷是为了“了解用户的需求及使用习惯”。

这样看的话，ChatGPT的问题选择更贴切一点点。

如果我做的那些模糊的判断都算数的话，现在是二比二平手了。

这次难分伯仲啊🤔，我们赶快来看看最后一个环节吧。

选项设计

Chatgpt在选项设计上有个令我惊艳的细节，就是在询问「看重的因素」和「遇到过的问题」时，用的是几乎一样的选项：

虽然文字细节稍有差异，但确实对仗对工整。

我自己设计问卷时，经常这样用类似的选项来问正反问题，这样分析的时候，就很好做图表分析了。我极少见到新手设计问卷想到这一点的，没想到ChatGPT做到了。

文心一言也有类似的问题，但选项没有那样的对应关系：

好在文心一言的这些选项还挺实际的，尤其「学习成本高」和「缺少人性化交互」这两点，确实切中了目前很多AI工具的问题。

再来看另一个双方类似的问题，是关于使用频率的。

二者的前四个选项几乎一样，只有最后一个选项不同。

ChatGPT是“从未用过”，文心一言是“几乎不用”。

应该有些人对AI工具是试过一两次后就再也不用的，这种情况下，文心一言的“几乎不用”显然更贴切一些。

如果是遇到ChatGPT的选项，这些人只能选“偶尔使用”，这样就会跟那些真的时不时用一下AI工具的人混到一起了。

这一回合，ChatGPT有让我惊艳之处，文心一言亦有不错的细节，很难选择啊……我就算个平局吧。

你怎么看待双方能力？

虽然我的分析有很多主观因素，但整体对比下来，文心一言和ChatGPT这两份问卷应该算难分秋色，至少水平不会相差太大。

以我多次问卷调研的教学经验来说，在新手里绝对算优秀。但毕竟AI没有真的做过用户调研，缺少很多重要经验。这两份问卷真的拿去用会遇到一堆问题，然后好几轮试错、修改，才能出结果。

想要不翻来覆去地试错，最好还是来参加我们的训练营，提供我多年经验总结的案例和模板：

老实说，因为网上的舆论几乎都在说ChatGPT多厉害，吊打国内AI之类的。所以我做对比之前，对文心一言几乎没有什么期待。

虽然区区一个问卷调研的测试不够准确，但这个结果明显超出了我原本的预想。

也许有人会觉得，让ChatGPT说中文是为难人家了，要用英文才能真正发挥其实力。

但国内的AI工具用户里，应该没多少会为了迁就ChatGPT而改用英文吧？那还得翻译一下多麻烦？

从价格来看，ChatGPT付费版是文心一言的好几倍，而且在国内还不方便使用。这是不是说，对有些人来说没必要开通ChaGPT，有文心一言就够了？

对于这两款AI工具你都用过吗？欢迎在留言区分享一下你的看法～